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内 容 简 介 


本 书 是 针对 “数值 分 析 ”“ 计 算 方 法 “数值 分 析 与 算法 ”等 课程 编写 的 教材 ,主要 面向 理工 科大 学 信息 
科学 与 技术 各 专业 ,以 及 信息 与 计算 科学 专业 的 本 科 生 。 本 书 内 容 包 括 数值 计算 基础 . 非 线 性 方程 的 数值 
解法 .线性 方程 组 的 直接 解法 与 迭代 解法 、 和 矩阵 特征 值 与 特征 向 量 的 计算 、 数 值 逼近 与 插值 .数值 积分 方 
法 、 常 微分 方程 初 值 问题 的 解法 ,以 及 数值 算法 与 应 用 的 知识 。 本 书 涵盖 数值 分 析 、 和 矩阵 计算 领域 最 基本 、 
最 常用 的 一 些 知 识 与 方法 ,而 且 在 算法 及 应 用 方面 增加 了 一 些 较 新 的 内 容 。 在 叙述 上 既 注重 理论 的 严谨 
性 ,又 强调 方法 的 应 用 背景 ,算法 设计 ,以 及 不 同方 法 的 对 比 。 为 了 增加 实用 性 与 可 扩展 性 ,每 章 都 配备 了 
应 用 实例 ,算法 背后 的 历史 .评述 等 子 栏 目 , 书 末 附 有 算法 .术语 索引 。 附 录 中 包括 MATLAB 软件 和 
Python 软件 的 简介 ,便于 读者 快速 掌握 并 进行 编程 实验 。 

本 书 适合 作为 高 年 级 本 科 生 或 研究 生 的 教材 ,也 可 供 从 事 科 学 与 工程 计算 的 科研 人 员 参 考 。 
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序 


“清华 大 学 计算 机 系列 教材 "已 经 出 版 发 行 了 三 十 余 种 ,包括 计算 机 科学 与 技术 专业 的 
基础 数学 .专业 技术 基础 和 专业 等 课程 的 教材 ,覆盖 计算 机 科学 与 技术 专业 本 科 生 和 研究 生 
的 主要 教学 内 容 。 这 是 一 批 至 今 发 行 数量 很 大 并 赢得 广大 读者 赞誉 的 书籍 ,是 近年 来 出 版 
的 大 学 计算 机 专业 教材 中 影响 比较 大 的 一 批 精品 。 

本 系列 教材 的 作者 都 是 我 熟悉 的 教授 与 同事 ,他 们 长 期 在 第 一 线 担任 相关 课程 的 教学 
工作 ,是 一 批 很 受 本 科 生 和 研究 生 欢 迎 的 任课 教师 。 编 写 高 质量 的 计算 机 专业 本 科 生 (和 研 
究 生 ) 教 材 ,不仅 需要 作者 具备 丰富 的 教学 经 验 和 科研 实践 ,还 需要 对 相关 领域 科技 发 展 前 
沿 的 正确 把 握 和 了 解 。 正 因为 本 系列 教材 的 作者 具备 了 这 些 条 件 , 才 有 了 这 批 高 质量 优秀 
教材 的 产生 。 可 以 说 ,教材 是 他 们 长 期 辛勤 工作 的 结晶 。 本 系列 教材 出 版 发 行 以 来 ,从 其 发 
行 的 数量 、 读 者 的 反映 ,已 经 获得 的 国家 级 与 省 部 级 的 奖励 ,以 及 在 各 个 高 等 院 校 教学 中 所 
发 挥 的 作用 上 ,都 可 以 看 出 本 系列 教材 所 产生 的 社会 影响 与 效益 。 

计算 机 学 科 发 展 异 常 迅速 ,内 容 更 新 很 快 。 作 为 教材 ,一 方面 要 反映 本 领域 基础 性 、 普 
遍 性 的 知识 ,保持 内 容 的 相对 稳定 性 ; 另 一 方面 又 需要 紧 跟 科技 的 发 展 ,及 时 调整 和 更 新 内 
容 。 本 系列 教材 都 能 按照 自身 的 需要 及 时 地 做 到 这 一 点 。 如 王 爱 英 教授 等 编著 的 (计算 机 
组 成 与 结构 》、 戴 梅 昔 教 授 等 编著 的 《微型 计算 机 技术 及 应 用 ;都 已 经 出 版 了 4 版 , 严 蔚 敏 教 
授 的 《数据 结构 》 也 出 版 了 3 版 ,使 教材 既 保 持 了 稳定 性 ,又 达到 了 先进 性 的 要 求 。 

本 系列 教材 内 容 丰 富 , 体 系 结构 严谨 ,概念 清晰 ,易学 易 懂 , 符 合 学 生 的 认 知 规律 ,适合 
教学 与 自学 , 深 受 广大 读者 的 欢迎 。 系 列 教材 中 多 数 都 配 有 丰富 的 习题 集 、 习 题解 答 、 上 机 
及 实验 指导 和 电子 教案 ,便于 学 生理 论 联系 实际 地 学 习 相关 课程 。 

随 着 我 国 进一步 的 开放 ,我们 需要 扩大 国际 交流 ,加 强 学 习 国外 的 先进 经 验 。 在 大 学 教 
材 建 设 上 ,我 们 也 应 该 注意 学 习 和 引进 国外 的 先进 教材 。 但 是 ,“ 清 华 大 学 计算 机 系列 教材 ” 
的 出 版 发 行 实践 以 及 它 所 取得 的 效果 告诉 我 们 ,在 当前 形势 下 ,编写 符合 国情 的 具有 自主 版 
权 的 高 质量 教材 仍 具有 重大 意义 和 价值 。 它 与 国外 原版 教材 不 仅 不 矛盾 ,而 且 是 相辅相成 
的 。 本 系列 教材 的 出 版 还 表明 ,针对 某 一 学 科 培 养 的 要 求 , 在 教育 部 等 上 级 部 门 的 指导 下 ， 
有 计划 地 组 织 任课 教师 编写 系列 教材 ,还 能 促进 对 该 学 科 科学 、 合 理 的 教学 体系 和 内 容 的 
研究 。 

我 希望 今后 有 更 多 、 更 好 的 我 国 优秀 教材 出 版 。 


清华 大 学 计算 机 系 教授 ,中 国 科 学 院 院士 


缴 和 给 


第 3 版 前 言 


“数值 分 析 ” 或 计算 方法 ”是 理工 科大 学 各 专业 普遍 开设 的 一 门 课程 ,其 内 容 主 要 包括 
有 关 数 值 计算 (numerical computing) 的 理论 与 方法 。 数 值 计 算是 计算 数学 、 计 算 机 科学 与 
其 他 工程 学 科 相 结合 的 产物 , 随 着 计算 技术 的 发 展 与 普及 , 它 正 变 得 越 来 越 重要 。 尤 其 是 人 
工 智能 和 机 器 学 习 正 得 到 蓬勃 发 展 与 应 用 ,作为 它们 基础 的 数值 计算 方法 也 受到 更 广泛 的 
重视 ,其 重要 性 不 言 而 喻 。 

本 书 的 主要 内 容 与 一 般 的 “数值 分 析 ” 教 材 基本 一 致 ,但 还 具有 如 下 特点 : 

(1) 对 数学 理论 的 介绍 简明 扼要 。 尽 量 用 形象 的 方式 解释 数学 中 的 一 些 概念 与 理论 ， 
通过 定理 总 结 重要 的 结论 。 在 不 失 严 谨 性 的 前 提 下 ,省略 部 分 定理 的 证 明 , 取 而 代 之 的 是 直 
观 的 解释 、 验 证 ,并 说 明 其 意义 与 用 途 。 

(2) 强调 算法 的 实际 应 用 与 分 析 比 较 。 对 大 多 数 算法 ,采用 程序 伪 码 的 形式 加 以 描述 ， 
同时 分 析 其 计算 复杂 度 。 说 明 算 法 应 用 中 的 细节 问题 ,对 几 个 较 新 的 算法 还 给 出 了 
MATLAB 源 程序 。 通 过 “应 用 实例 ”和 相关 MATLAB 命令 ,更 详细 地 介绍 算法 的 应 用 。 

(3) 具有 和 较 强 的 可 读 性 与 实用 性 。 尽 量 用 图 、 表 等 形象 的 方式 对 概念 、 现 象 进行 解释 。 
每 章 都 编写 了 “算法 背后 的 历史 ” 子 栏目 ,以 增强 阅读 的 趣味 性 。 书 末 附 有 算法 、 术 语 索 引 ， 
便于 查阅 。 为 了 便于 读者 动手 实践 ,对 MATLAB 和 Python 软件 的 相关 功能 进行 了 简单 
介绍 。 

(4) 在 内 容 编 排 上 有 利于 教学 。 依 据 教学 规律 安排 各 章 的 顺序 ;每 章 的 “评述 ”部 分 列 
出 了 主要 知识 点 , 除 练习 题 外 ,还 提供 了 上 机 实验 题 ,附录 中 给 出 了 部 分 习题 的 答案 。 

学 习 数 值 分 析 与 算法 ,应 重视 通过 计算 机 编程 加 深 理 解 相关 理论 与 算法 。 本 书 提倡 使 
用 MATLAB 或 Python 语言 进行 编程 实验 ,基于 如 下 理由 :中 它们 较 易 于 学 习 、 代 码 简洁 ， 
可 节省 编程 实验 时 间 。@MATLAB 还 具有 功能 强大 的 科学 计算 集成 环境 ,便于 程序 调试 
和 形象 直观 地 展示 程序 运行 结果 。 加 它们 包含 丰富 .先进 的 数值 计算 功能 ,已 被 广泛 用 于 科 
学 与 工程 实践 。 学 习 MATLAB 与 Python 中 使 用 的 技术 可 作为 课程 学 习 的 扩展 与 提高 。 

本 书 第 1 版 于 2012 年 年 初出 版 .第 2 版 于 2015 年 年 底 出 版 ,已 作为 “数值 分 析 ” 课 的 教 
材 使 用 多 年 , 收 到 了 较 满意 的 效果 。 但 通过 教学 实践 也 发 现 了 书 中 的 一 些 问 题 与 错误 ,有 必 
要 进行 更 正 与 修订 。 本 书 第 3 版 在 保持 全 书 结构 不 变 的 前 提 下 对 前 7 章 做 了 全 面 细致 的 修 
订 ,主要 修改 的 部 分 包括 部 分 定理 的 表述 和 证 明 、 数 值 计算 网 络 资源 信息 的 更 新 、 增 加 与 修 
订 了 一 些 插 图 、 对 一 些 扩展 知识 给 出 了 更 多 的 说 明 、 删 除了 少量 不 实用 的 内 容 、 增 加 了 一 节 
专门 介绍 矩阵 的 奇异 值 分 解 . 增 加 了 一 个 附录 介绍 Python 中 数值 计算 的 功能 。 总 之 ,在 保 
持 全 书 篇 幅 基 本 不 变 的 情况 下 ,对 内 容 进 行 了 增删 ,力求 涵盖 当下 最 重要 的 数值 计算 内 容 ， 
并 呈现 出 更 高 的 品质 和 阅读 体验 。 

本 书 体现 了 作者 十 多 年 来 的 相关 教学 和 科研 积累 ,参考 ,借鉴 了 十 余 种 较 新 的 国内 外 优 
秀 教材 ,力争 在 理论 与 实践 相 结合 、 反 映 学 科 发 展 前 沿 ,以 及 适应 时 代 发 展 对 学 生 培 养 的 新 
要 求 等 方面 取得 好 的 效果 。 本 书 内 容 由 误差 分 析 、 非 线性 方程 求 根 、 数 值 线 性 代数 、 函 数 插 
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值 . 数 值 积分 、 常 微分 方程 数值 解法 等 部 分 组 成 ,包括 数值 计算 领域 中 经 典 . 应 用 较 广 泛 的 内 
容 , 也 为 学 习 最 优化 方法 、 大 数据 分 析 、 机 器 学 习 等 新 兴 领 域 中 的 一 些 高 级 算法 提供 了 基础 。 
使 用 本 教材 时 ,可 用 48 学 时 讲授 主要 内 容 , 几 乎 每 章 都 包含 一 些 简介 性 质 或 与 MATLAB 
软件 有 关 的 内 容 , 供 感 兴趣 的 学 生 选 学 或 课 后 阅读 。 

下 图 显示 了 各 章 主 要 内 容 的 知识 依赖 关系 。 总 体 上 ,建议 教师 按照 从 第 1 一 8 章 的 顺序 
开展 教学 ,只 是 第 2.7 节 依 赖 于 线性 方程 组 的 有 关 知 识 , 需 在 第 3 章 讲 完 后 介绍 。 


第 1 章 数值 计算 导论 


第 2 章 非 线性 方程 求 根 


单个 非 线 性 方程 | -oe 训 -ros 一] 第 3 章 线性 方程 组 的 直接 解法 
| i 


第 4 章 线性 方程 组 的 迭代 解法 
第 5 章 和 矩阵 特征 值 计算 


QR 分 解 


第 7 章 数值 积分 与 数值 微分 


第 6 章 函数 逼近 与 函数 插值 
一 |>~| 函数 逼近 | | 函数 插值 


第 8 章 ， 常 微分 方程 初 值 问 题 的 解法 
| 单个 常 微分 方程 | | 常 微分 方程 组 


白 如 冰 、 朱 到 址 参加 了 本 书 第 1 版 部 分 内 容 的 编写 ,刘志强 参加 了 本 书 第 3 版 部 分 内 容 
的 编写 ,选修 作者 讲授 的 “数值 分 析 ” 课 的 同学 指出 了 第 1 版 .第 2 版 中 的 很 多 错误 ,提供 了 
积极 反馈 ,在 此 致 以 诚挚 的 谢意 ! 此 外 ,还 要 感谢 清华 大 学 王 泽 谢 、 拒 人 昆 、 边 计 年 、 茜 这 慈 
等 教授 给 予 的 指导 与 帮助 ,以 及 清华 大 学 出 版 社 的 编辑 在 出 版 本 书 过 程 中 付出 的 辛勤 劳动 。 

据 不 完全 统计 ,本 书 已 被 40 多 所 大 学 选 作 教材 ,使 用 的 专业 包括 计算 机 专业 、 软 件 工程 
专业 .电子 信息 专业 .自动 化 专业 等 。 在 此 ,作者 对 广大 读者 的 支持 表示 诚挚 的 感谢 ! 也 和 希 
望 广大 读者 提出 宝贵 的 意见 与 建议 。 


喻 文 健 
2019 年 9 月 
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第 1 章 数值 计算 导论 


本 章 首先 简单 介绍 数值 计算 的 背景 ,接着 讨论 数值 计算 误差 的 有 关 概 念 ,以 及 影响 结果 
准确 度 的 各 种 因素 ,然后 结合 计算 机 浮 点 运算 系统 分 析 舍 人 误差 现象 ,最 后 给 出 减少 舍 人 误 
差 的 若干 建议 。 


1.1 概 述 


1.1.1 数值 计算 与 数值 算法 


数值 计算 (numerical computing) 是 在 理工 类 各 学 科 专 业 中 广泛 运用 的 一 项 技术 ,多 年 
来 在 我 国 高 等 教育 培养 体系 中 一 直 受 到 重视 ,讲授 数值 计算 有 关 知识 的 “数值 分 析 ”“ 计 算 方 
法 ”课程 也 逐渐 成 为 各 专业 的 必修 课 或 重要 选修 课 。 近 些 年 来 ,计算 机 科学 与 技术 发 展 迅 
速 , 计 算 机 已 成 为 日 常 工 作 、 生 活 中 不 可 缺少 的 工具 。 在 这 种 情况 下 ,数值 计算 与 计算 机 的 


联系 变 得 更 为 密切 ,其 应 用 也 日 益 广泛 。 a 
数值 计算 是 横 跨 计算 数学 与 计算 机 学 科 的 交叉 
学 科 。 图 1-1 显示 了 多 个 学 科 经 过 发 展 、 融 合 ,形成 应 用 数学 。 ”实验 /工程 科学 
“数值 计算 ”方向 的 过 程 。 为 了 突出 数值 计算 在 各 种 -由 8 
科学 与 工程 问题 中 的 应 用 及 其 重要 性 ,近年 来 也 常 ”计算 数学 计算 科学 与 工程 “、 
称 其 为 科学 计算 (scientific computing ) 。 \、 NN 7 7/ 
与 数值 计算 联系 紧密 的 一 个 研究 方向 是 高 性 “~~ 数值 计算 -一 
计算 , 它 的 研究 对 象 是 高 性 能 的 计算 机 
as ee ee en 人 
~ 形成 数值 计算 研究 方向 
容 。 事实 上 ,在 高 性 能 计算 的 应 用 中 ,数值 计算 占 
有 相当 重要 的 地 位 。 


与 计算 机 学 科 的 其 他 方向 不 同 ,数值 计算 中 的 问题 和 方法 有 其 鲜明 的 特点 。 它 主要 处 
理 连续 物理 量 ,如 时 间 、 距 离 、 速 度 、 温 度 、 密 度 、 电 压 、 压 强 、 应 力 等 ,而 不 是 离散 量 。 同 时 , 数 
值 计算 涉及 的 问题 很 多 都 是 连续 数学 问题 (如 涉及 求 导数 、 积 分 或 非 线性 方程 等 ) ,理论 上 不 
可 能 通过 有 限 步 计算 出 准确 的 结果 ,因此 求解 过 程 往往 需要 做 近似 ,并 通过 有 限 的 迭代 步 得 
到 “充分 接近 准确 解 ”的 近似 解 。 由 于 计算 机 不 能 精确 表示 所 有 实数 ,数值 计算 的 每 一 步 几 
乎 都 存在 近似 ,因此 估计 分析 计算 结果 的 准确 度 非常 重要 。 可 以 将 数值 计算 的 研究 目标 归 
纳 为 : 寻找 一 个 能 迅速 完成 的 ( 选 代 ) 算 法 ,同时 估计 计算 结果 的 准确 度 。 

数值 计算 研究 的 核心 内 容 是 数值 算法 的 设计 与 分 析 。 计 算 机 界 有 名 名言:“ 计 算 机 程 
序 = 数 据 结 构 十 算法 ”, 从 中 可 见 算法 的 重要 性 。 算 法 又 可 分 为 “数值 算法 ”和 “ 非 数 值 算 
法 ”, 两 者 有 着 明显 的 区 别 。 数 值 算法 用 途 广 泛 ,发 展 迅 速 ,具有 跨 学 科 的 特点 ,而 * 非 数值 算 
法 ”的 研究 主要 限于 计算 机 科学 的 范围 内 。 自 从 计算 机 问世 以 来 ,算法 对 科学 与 工程 发 展 的 


数值 分 析 与 算法 (第 3 版 ) 


推动 作用 有 目 共 睹 。IEEE? 主办 的 杂志 Computing in Science & Engineering 开展 了 一 次 
评选 , 选 出 在 20 世纪 对 科学 和 工程 的 发 展 与 实践 影响 最 大 的 10 个 算法 ,它们 按时 间 顺 序 依 
次 如 下 。 

(1) 1946 年 ,美国 Los Alamos 国家 实验 室 的 John von Neumann( 冯 。 诺 依 曼 )、S. Ulam 和 
N. Metropolis 提出 的 Metropolis 算法 ,属于 蒙特 卡 洛 (Monte Carlo) 方 法 。 

(2) 1947 年 ,美国 兰 德 (RAND) 公 司 的 G. Dantzig 创造 的 解 线性 规划 问题 的 单纯 型 算 
法 (Simplex 算法 ) 。 

(3) 1950 年 ,美国 国家 标准 局 数值 分 析 研 究 所 的 M. Hestenes、E. Stiefel 和 C. Lanczos 开创 
的 Krylov( 克 雷 洛 夫 ) 子 空间 迭代 法 。 

(4) 1951 年 ,美国 Oak Ridge( 橡 树 岭 ) 国 家 实验 室 的 A. Householder( 豪 斯 霍 尔 德 ) 形 
式 化 的 矩阵 计算 的 分 解 方法 。 

(5) 1957 年 ,美国 IBM 公司 的 J. Backus 领导 开发 的 FORTRAN 最 优 编译 器 算法 。 

(6) 1959 一 1961 年 ,英国 伦敦 Ferranti 公司 的 J. Francis 发 现 的 计算 矩阵 特征 值 的 稳定 
算法 , 即 QR 算法 。 

(7) 1962 年 ,英国 伦敦 Elliott Brothers 公司 的 T. Hoare 提出 快速 排序 算法 , 即 
Quicksort 算法 。 

(8) 1965 年 ,美国 IBM 公司 Watson 研究 中 心 的 J. Cooley 和 普林斯顿 大 学 及 AT&T 

公司 贝尔 实验 室 的 J. Tukey 共同 提出 的 快速 传 里 叶 变 换算 法 , 即 FFT 算法 。 

(9) 1977 年 ,美国 Brigham Young 大 学 的 H. Ferguson 和 R. Forcade 提出 的 整数 关系 
检测 (integer relation detection) 算 法 。 

(10) 1987 年 ,美国 耶鲁 大 学 的 L. Greengard 和 V. Rokhlin 发 明 的 快速 多 极 (fast 
multipole) 算 法 。 

虽然 完全 理解 这 十 大 算法 不 是 一 件 容易 的 事情 ,但 粗略 看 可 以 发 现 , 除 第 5.7.9 个 算法 
外 ,其 余 算法 都 与 数值 计算 关系 密切 。 由 此 可 见 数值 算法 的 重要 性 和 普遍 性 。 本 书 将 讨论 
最 基础 .应 用 最 广 的 一 些 数值 算法 ,部 分 内 容 也 涉及 这 十 大 算法 。 


1.1.2 数值 计算 的 问题 与 策略 


数值 计算 的 问题 来 自 各 个 科学 和 工程 分 支 ,可 归纳 为 下 述 3 种 情况 。 
(1) 没有 解析 解 的 数学 问题 。 一 个 简单 的 例子 是 五 次 或 更 高 次 一 元 代数 方程 的 求解 ,例如 : 
Xi 十 27 二 32 十 47: 十 5z= 二 6 三 0 
根据 阿 贝尔 定理 @ 我 们 知道 ,五 次 以 及 更 高 次 代数 方程 没有 通用 的 求 根 公式 ,因此 只 能 采用 
数值 算法 得 到 其 近似 解 。 
(2) 有 解析 解 的 数学 问题 ,但 解析 公式 的 计算 很 复杂 。 容 易 想 到 的 例子 是 涉及 er 、sinz 
等 函数 的 计算 问题 9, 因为 将 这 些 函 数 的 计算 转换 为 加 、 减 、 乘 、 除 运算 时 涉及 无 穷 级 数 , 因 


Institute of Electrical and Electronics Engineers: (美国 ) 电 气 与 电子 工程 师 学 会 ,是 世界 上 最 大 的 专业 学 术 
组 织 。 

回 1824 年 ,Abel( 阿 贝尔 ) 证 明了 次 数 大 于 四 的 多 项 式 并 不 都 有 用 初等 运算 及 系数 表示 的 求 根 公 式 。 

回 ”在 计算 机 高 级 编程 语言 中 ,已 将 常用 函数 的 计算 编制 成 库 函数 提供 给 用 户 , 因 此 一 般 用 户 往往 忽视 了 其 内 部 的 
技术 细节 。 


吕 识 放 
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此 须 采 用 数值 计算 中 的 近似 、 截 断 等 技术 加 以 处 理 。 

(3) 在 科学 与 工程 研究 中 模拟 难以 形成 的 实验 条 件 。 这 是 最 常见 ,也 是 最 贴近 应 用 的 
情况 ,被 称 为 数值 模拟 (simulation) 或 计算 机 仿真 。 例 如 ,在 天 体 物 理学 研究 中 ,有 些 过 程 是 
不 能 直接 或 者 通过 实验 再 现 的 ,因此 只 能 用 计算 机 建立 有 关 物 理 方程 的 模型 ,然后 通过 数值 
求解 这 些 方程 进行 模拟 实验 。 除 了 处 理 这 种 用 其 他 手段 无 法 解决 的 问题 外 ,数值 计算 还 被 
大 量 用 于 解决 “常规 ?实验 可 以 解决 的 问题 ,其 好 处 是 降低 时 间 和 金钱 成 本 ,而且 更 安全 。 例 
如 ,用 数值 计算 模拟 汽车 碰撞 实验 、 集 成 电路 芯片 投产 前 的 性 能 模拟 等 。 

通过 数值 计算 解决 问题 的 过 程 通常 包括 以 下 6 步 。 

(1) 根据 相关 学 科 的 背景 知识 建立 数学 模型 ,通常 是 某 种 类 型 的 方程 。 

(2) 研究 数值 求解 这 个 方程 的 算法 。 

(3) 通过 计算 机 程序 或 软件 实现 这 个 算法 。 

(4) 在 计算 机 上 运行 软件 进行 数值 模拟 。 

(5) 将 计算 结果 用 较 直 观 的 方式 输出 ,如 使 用 计算 机 可 视 化 技术 。 

(6) 解释 并 确认 计算 结果 ,如 果 需 要 , 则 调整 参数 后 重复 上 面 的 某 些 或 全 部 步骤 。 

上 述 步骤 中 的 第 (2)(3) 步 是 数值 计算 研究 的 主要 内 容 , 而 数值 计算 的 有 关 知 识 对 设计 
好 其 他 各 步 都 有 帮助 。 应 该 强调 的 是 ,上 述 各 步骤 相互 间 紧 密 关 联 , 最 终 计算 结果 的 准确 性 
和 效率 受 这 些 步骤 整体 的 影响 。 此 外 ,问题 的 实际 背景 和 要 求 也 左右 着 各 步骤 中 方法 的 
选择 。 

数值 计算 处 理 的 问题 还 应 当 是 适 定 的 。 如 果 一 个 数学 问题 的 解 存在 .唯一 , 且 连 续 地 依 
赖 于 问题 的 数据 , 则 称 这 个 问题 是 适 定 的 (well-posed,well-defined)。 这 里 ,“ 连 续 地 依赖 于 
问题 的 数据 ” 指 问题 数据 的 微小 改变 不 会 造成 问题 解 的 剧烈 变化 。 这 个 条 件 对 于 数值 计算 
是 极其 重要 的 ,因为 数值 计算 以 有 限 字 长 的 计算 机 为 工具 ,计算 过 程 中 数据 的 扰动 是 不 可 避 
免 的。 当然 , 绝 大 多 数 科 学 与 工程 问题 也 满足 适 定 条 件 ,只 有 少数 例外 情况 ,如 地 震 问 题 的 
计算 模型 。 在 各 种 适 定 的 数值 计算 问题 中 , 仍 有 一 些 问题 的 解 对 数据 扰动 是 比较 敏感 的 。 
关于 问题 敏感 性 的 定义 和 讨论 ,将 在 后 面 的 1. 2. 3 节 详 细 介 绍 。 

求解 数值 计算 问题 的 一 般 策略 是 将 复杂 或 困难 的 问题 用 解 相同 或 相近 的 简单 问题 代 
蔡 , 这 种 近似 过 程 通常 包括 下 述 7 种 。 

(1) 用 有 限 维 空间 代替 无 限 维 空间 。 

(2) 用 有 限 的 过 程 代替 无 限 的 过 程 。 

(3) 用 代数 方程 代替 微分 方程 。 

(4) 用 线性 问题 代替 非 线 性 问题 。 

(5) 用 低 阶 系 统 代替 高 阶 系统 。 

(6) 用 简单 函数 代替 复杂 函数 。 

(7) 用 简单 结构 的 矩阵 代替 一 般 的 矩阵 。 

例如 ,在 函数 双 近 问题 中 ,就 是 用 有 限 维 子 空间 近似 无 限 维 的 函数 空间 ;在 计算 无 穷 级 
数 或 积分 时 ,就 是 将 无 限 的 过 程 近似 为 有 限 的 过 程 ;求解 微分 方程 的 基本 方法 是 ,将 其 转换 
为 代数 方程 ;求解 非 线 性 方程 .通常 将 它 转换 为 一 系列 线性 方程 的 求解 ; 非 线性 方程 的 线性 
化 也 可 看 成 将 高 阶 系统 变 为 低 阶 系统 :任何 复杂 函数 的 计算 都 需 近 似 为 简单 函数 ,因为 计算 
机 最 终 只 能 进行 加 \ 减 , 乘 、 除 等 基本 运算 ;用 简单 结构 的 矩阵 代替 复杂 结构 的 矩阵 ,往往 能 
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以 很 小 的 精度 损失 换取 较 大 的 计算 效率 提升 。 在 本 书后 续 章 节 中 ,对 各 种 数值 方法 的 介绍 
将 充分 体现 这 些 策略 。 

实际 的 求解 过 程 通常 包括 两 步 : 在 保证 问题 的 解 不 变 或 变化 不 大 的 前 提 下 ,将 给 定 问 
题 转 换 为 另 一 个 容易 求解 的 问题 ,以 及 对 简化 后 得 到 的 问题 进行 求解 。 因 此 ,好 的 数值 算法 
应 具备 两 方面 特点 : 一 方面 要 计算 效率 高 (如 计算 时 间 短 .占用 内 存 少 等 ) ; 另 一 方面 还 要 尽 
可 能 地 准确 .可 靠 。 也 就 是 说 ,在 出 现 各 种 近似 的 前 提 下 ,还 能 得 到 尽 可 能 准确 的 结果 。 


1.1.3 数值 计算 软件 


近 几 十 年 来 , 随 着 计算 机 软件 、 互 联网 等 技术 的 发 展 ,已 涌现 出 一 些 高 质量 的 数学 软件 
或 程序 包 , 其 中 一 些 还 可 免费 获得 源 代码 。 有 效 地 借助 这 些 软件 ,程序 ,可 方便 地 求解 一 些 
典型 问题 ,推进 具体 的 科学 与 工程 研究 工作 。 使 用 数学 软件 的 重要 性 已 得 到 广泛 认同 ,基于 
此 种 考虑 ,目前 理工 科大 专 院 校 基本 上 都 开设 了 “数学 实验 ”课程 。 本 书 在 介绍 数值 计算 软 
件 的 基础 算法 的 同时 ,还 希望 读者 重视 数值 算法 程序 的 编写 和 数值 计算 软件 的 使 用 ,加 深 对 
方法 的 理解 ,了 解 最 新 的 进展 ,真正 获得 实践 应 用 的 能 力 。 

在 介绍 一 些 具 体 的 数值 软件 之 前 , 先 列 出 高 质量 数学 软件 应 具有 的 特点 中 。 

(1) 可 靠 。 对 一 般 的 问题 总 能 正确 运行 。 

(2) 准确 。 根 据 问题 和 输入 数据 产生 精确 的 结果 .并 能 对 达到 的 准确 度 进行 评估 。 

(3) 高 效率 。 求 解 问题 所 用 的 时 间 和 存储 空间 尽 可 能 小 。 

(4) 方便 使 用 。 具 有 方便 .友好 的 用 户 界面 。 

(5) 可 移植 。 在 各 种 计算 机 平台 下 都 (或 经 少量 修改 后 ) 能 使 用 。 

(6) 可 维护 。 程 序 易于 理解 和 修改 (开放 源 代码 的 软件 ) 。 

(7) 适用 面 广 。 可 求解 的 问题 广泛 。 

(8) 鲁 棒 。 能 解决 大 部 分 问题 ,偶尔 失败 的 情况 下 能 输出 提示 信息 ,及 时 终止 。 

事实 上 ,满足 所 有 这 些 特点 的 软件 是 不 存在 的 。 它 们 只 是 作为 使 用 者 挑选 软件 考虑 的 
因素 ,同时 也 为 数值 算法 软件 开发 者 提出 了 努力 的 目标 。 

表 1-1 列 出 了 一 些 重要 的 数值 计算 软件 ,程序 包 的 来 源 ,其 中 很 多 能 通过 互联 网 免费 获 
得 。 这 些 免 费 程序 代码 通常 由 FORTRAN 语言 编写 .也 有 使 用 C 语言 .C++ 语言 的 。GAMS、 
Netlib 和 NR 是 3 个 重要 资源 ,它们 都 汇集 了 来 自 不 同 渠道 的 各 种 程序 包 , 这 些 程序 源 代码 可 
以 被 用 户 编写 的 程序 调用 ,或 者 嵌入 用 户 自己 开发 的 应 用 程序 中 。 另 外 ,GAMS 还 具有 方便 的 
检索 、 查 找 功 能 。 更 多 的 数值 软件 资源 参见 文献 [2], 或 通过 互联 网 进行 搜索 。 


表 1-1 重要 的 数值 计算 软件 ,程序 包 的 网 络 资源 


名 称 内 容 说 明 商业 /免费 网 二 
(美国 ) 国 家 标准 及 技术 协会 (NIST) 的 数 . 
GAMS | 学 与 统计 软件 虚拟 仓库 和 检索 系统 ey 


汇集 各 种 数值 计算 程序 的 网 站 ,包含 ACM 
Transactions on Mathematical Software、 
Netlib Numerical Algorithms 等 期 刊 论文 所 附 程 | 免费 www. netlib. org 
序 、 本 书 参考 文献 [3]、[4] 所 附 程 序 , 以 及 
PORT, SLATEC 等 程序 集 
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续 表 
名 称 内 容 说 明 商业 /免费 网 址 
英国 Science and Technology Facilities 
HSL Council 提供 的 科学 计算 程序 包 免费 www. hsl. rl. ac. uk 
NAG NAG 公司 提供 的 数值 算法 程序 集 商业 www. nag. com 
NR Numerical Recipes 系列 书 加 所 附 软件 部 分 免费 Www. nr. com 
MATLAB MathWorks 公司 出 品 的 数学 软件 商业 www. matlab. com 
和 eb. stanford. ed SOL/ ， 
SOL 人 免费 A et 人 
发 的 优化 算法 软件 与 程序 ee 


除了 包含 源 代码 的 程序 包 , 另 一 种 数值 计算 软件 的 形式 是 交互 式 集成 环境 , 它 能 提供 强 
大 丰富 的 数学 工具 ,同时 有 较 好 的 图 形 / 图 像 显示 功能 和 高 级 编程 语言 ,使 得 在 它 的 基础 上 
能 快速 开发 出 用 户 所 需 的 软件 原型 。 当 前 应 用 最 广泛 的 数值 计算 软件 是 MathWorks 公司 
的 MATLAB 软件 。MATLAB 是 一 个 交互 式 系统 ,汇集 了 大 量 的 数值 算法 ,尤其 是 处 理 线 
性 代数 .矩阵 计算 问题 的 能 力 很 强 。MATLAB 本 身 也 定义 了 一 种 高 级 编程 语言 ,语法 比较 
简洁 ,有 利于 快速 编写 程序 ,同时 附带 的 其 他 功能 形成 了 一 个 很 好 的 集成 开发 环境 。 表 1-2 
将 MATLAB 与 其 他 高 级 编程 语言 进行 了 对 比 。 


表 1-2 MATLAB 与 其 他 高 级 编程 语言 的 比较 


MATLAB( 作 为 编程 语言 ) C,C++ ,FORTRAN 
比较 项 目 
第 四 代 编 程 语言 第 三 代 编 程 语言 
编译 方式 解释 器 ,或 JIT 加 速 器 (v 6.5 以 后 版 本 ) 编译 器 
是 否 声 明 变 量 | 不 需要 需要 
开发 时 间 较 快 较 慢 
运行 时 间 较 慢 较 快 
开发 环境 集成 环境 (编辑 器 .调试 器 、 命 令 历史 、 变 量 空 间 .profiler、 编 译 器 ) 


应 说 明 的 是 ,由 于 MATLAB 中 包含 大 量 的 内 部 算法 函数 ,如 果 编 程 时 主要 使 用 的 是 这 
些 内 部 函数 ,MATLAB 程序 的 运行 速度 并 不 会 比 其 他 高 级 语言 实现 的 相同 算法 慢 。 此 外 ， 
较 新 的 MATLAB 版 本 具有 一 些 加 速 运行 的 机 制 , 因 此 只 要 稍 加 注意 ,用 MATLAB 进行 编 
程 实验 是 非常 便捷 、 高 效 的 。 

除 集成 了 大 量 先进 的 数值 算法 , MATLAB 还 提供 了 强大 的 计算 可 视 化 功能 。 通 过 
MATLAB 中 的 命令 能 很 方便 地 分 析 计 算 的 数据 ,以 及 将 计算 结果 以 图 形 的 形式 直观 显示 。 
MATLAB 中 还 包含 了 很 多 选项 工具 箱 (Toolbox) ,为 信号 处 理 . 图 像 处 理 . 控 制 、 系 统 辨 别 、 
优化 .统计 金融、 通信 等 各 种 专业 应 用 提供 专门 的 工具 。MATLAB 已 成 为 广大 科研 人 员 
首选 的 工具 软件 ,其 正式 用 户 数 目 已 超过 100 万 ,很 多 大 学 也 采用 MATLAB 作为 数值 计算 
相关 课程 的 教学 辅助 软件 。 关 于 MATLAB 编程 ,读者 可 参考 文献 [7]`L46] ,它们 同时 也 是 
两 种 有 关 数 值 计算 和 算法 入 门 的 优秀 教材 。 
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MATLAB 是 跨 平台 的 软件 ,无 论 在 Windows 操作 系统 下 ,还 是 在 UNIX/Linux 操作 
系统 下 都 能 使 用 。 与 MATLAB 功能 类 似 的 还 有 一 些 免 费 软件 ,其 中 比较 著名 的 是 
Octave。Octave 可 从 互联 网 上 免费 下 载 , 它 在 UNIX/Linux 操作 系统 下 运行 ,界面 和 功能 
与 MATLAB 基本 一 致 。 另 外 两 种 类 似 于 MATLAB 的 免费 软件 是 RLaB 和 Scilab。 

本 书 讨论 的 算法 基本 上 都 能 在 表 1-1 中 的 数值 软件 资源 中 找到 实现 代码 ,或 在 
MATLAB 中 找到 相应 的 程序 命令 ,后 面 介绍 具体 内 容 时 将 提 及 。 


1.2 误差 分 析 基 础 


1.2.1 数值 计算 的 近似 


前 面 提 到 ,数值 计算 主要 研究 求解 连续 数学 问题 的 算法 和 程序 实现 ,但 这 并 不 意味 着 我 
们 只 需 关 心 数值 算法 执行 过 程 中 的 误差 。 为 了 对 最 终 计算 结果 的 准确 度 进行 评价 ,必须 知 
道 一 些 在 数值 计算 开始 之 前 就 存在 的 误差 或 近似 。 它 们 主要 有 以 下 3 种 情况 。 

(1) 建立 数学 模型 时 做 的 近似 。 这 个 过 程 中 可 能 简化 或 忽略 系统 的 一 些 不 重要 的 物理 
特性 (如 摩擦 、 空 气 阻 力 等 )。 

(2) 经 验 或 测量 造成 的 数据 误差 。 有 些 计算 中 用 的 数据 (如 重要 的 物理 常数 、 普 朗 克 常 
数 、 万 有 引力 常数 等 ) 都 是 通过 实验 测量 得 到 的 ,或 多 或 少 存在 一 些 误差 。 

(3) 输入 数据 来 自 以 前 计算 的 结果 。 一 个 实际 的 科学 或 工程 问题 通常 被 分 解 为 多 个 前 
后 衔接 的 数值 计算 问题 ,因此 当前 问题 的 输入 数据 包括 之 前 问题 的 计算 结果 ,所 以 存在 

通过 分 析 计算 前 主要 的 近似 来 源 我 们 知道 ,为 了 使 最 终结 果 准 确 , 应 采取 建立 更 精确 数 
学 物理 模型 .采用 更 准 的 测量 值 ,以 及 改变 前 一 步 计算 方案 以 减少 输入 数据 误差 等 措施 。 

计算 前 的 误差 有 时 会 超出 我 们 的 控制 范围 ,而 计算 过 程 中 的 近似 往往 可 以 控制 ,采用 不 
同 的 算法 和 编程 实现 技巧 对 其 影响 很 大 。 计 算 过 程 中 的 近似 主要 有 两 种 。 

(1) 截断 误差 或 方法 误差 。 求解 一 个 数学 方程 可 采用 多 种 数值 方法 ,各 种 数值 方 


法 往往 都 进行 了 一 些 简化 处 理 。 例 如 ,函数 f(z) 用 其 阶 泰勒 展开 /C0) 十 人 (2 十 


多 DD (Cn 十 1) 
人 二 十 人 C07. 代替 , 则 截断 误差 为 人 了 (多 79 ,gE (0,z)。 


(2) 全 入 误差 。 无 论 是 手工 计算 、 利 用 计算 器 ,还 是 数字 计算 机 ,输入 与 结果 数据 都 只 
能 用 有 限 位 数字 表示 , 即 数据 的 “四 舍 五 和 人 "会 产生 误差 。 此 外 ,常用 的 十 进 制 数 据 输 入 计算 
机 后 需 变 成 二 进 制 数据 ,这 个 转换 过 程 产生 的 误差 通常 也 归 为 伟人 误差 。 

由 于 计算 过 程 中 舍 人 误差 总 是 存在 ,研究 数值 算法 抵抗 这 种 扰动 的 稳定 性 非常 重要 。 
关于 算法 稳定 性 的 概念 见 1. 2.4 节 。 另 外 ,在 各 种 误差 来 源 中 ,通常 只 有 几 方 面 的 误差 起 主 
要 作用 ,应 对 其 重点 考虑 和 分 析 。 

例 1.1( 数 值 计算 的 近似 ): 为 了 计算 地 球 的 表面 积 , 可 采用 球体 表面 积 计 算 公式 : 

A= 4rxr 
其 中 ,r 为 球 的 半径 。 试 分 析 哪 几 种 近似 影响 计算 的 最 后 结果 。 
【 解 】 这 个 数值 求解 过 程 包含 以 下 几 种 近似 。 
。6. 
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(1) 将 地 球 近似 看 成 球体 ,这 是 建立 数学 模型 的 近似 。 

(2) 取 半 径 "6370km, 这 可 能 是 经 验 测量 或 前 一 步 计算 得 到 的 ,存在 数据 误差 。 

(3) x 的 值 只 能 截取 到 有 限 位 ,这 是 数据 误差 。 

(4) 计算 4rr? 涉及 浮 点 数 的 乘法 ,存在 舍 入 误差 (将 步骤 (2)(3) 中 的 数据 输入 计算 机 
也 存在 舍 入 误差 )。 

最 终 算出 地 球 表面 积 的 准确 度 与 所 有 这 些 近 似 都 有 关 。 


1.2.2 误差 及 其 分 类 


1. 误差 与 有 效 数字 

误差 用 来 表示 计算 值 (近似 值 ) 接 近 真 实 值 (准确 值 ) 的 程度 ,一 般 有 如 下 定义 。 

定义 1.1: 设 准 确 值 x 对 应 的 近似 值 为 云 , 则 误差 (error) 

e( 苑 ) 一 过 一 并， 
它 也 被 称 为 绝对 误差 (absolute error) 。 

应 特别 注意 ,误差 表示 的 接近 程度 与 真实 值 的 大 小 有 关 。 例 如 ,统计 全 国人 口 时 出 
现 误差 1 的 严重 程度 远 小 于 统计 教室 中 学 生 人 数 时 出 现 误差 1, 因 此 引入 相对 误差 的 
概念 。 

定义 1.2: 设 准 确 值 x 对 应 的 近似 值 为 , 则 其 相对 误差 (relative error) 为 


~ = 
er( 工 ) = 一 一。 


关于 这 两 个 概念 ,应 注意 以 下 几 点 。 

(1) 绝对 误差 不 是 误差 的 绝对 值 . 它 可 正 , 可 负 。 

(2) 如 果真 实 值 为 零 , 则 相对 误差 没有 定义 。 

(3) 相对 误差 通常 用 百分比 的 形式 表示 ,如 果 相对 误差 超过 100% ,一 般 认为 其 计算 结 
果 完 全 错误 。 

(4) 相对 误差 和 近似 值 的 关系 也 可 表示 为 : 近似 值 = 真实 值 X(1 十 相对 误差 ) 。 

在 实际 的 问题 中 ,不 可 能 知道 绝对 误差 和 相对 误差 的 准确 值 .一 般 只 能 估计 或 限定 误差 
的 范围 。 误 差 的 绝对 值 的 上 限 称 为 误差 限 , 而 相对 误差 绝对 值 的 上 限 称 为 相对 误差 限 , 分 别 
记 为 e(3+) 和 (3)。 

也 常 使 用 如 下 公式 计算 相对 误差 : 


| 


er (元 ) = 


这 与 相对 误差 的 定义 有 一 些 差别 ,但 当 e, (3) 较 小 时 ,可 忽略 这 种 差别 。 按 照 此 公式 ,可 以 
先 估计 出 误差 限 , 然 后 除 以 z 得 到 相对 误差 限 。 

表示 一 个 近似 值 时 , 常 涉及 有 效 数字 (significant digit) 的 概念 。 

定义 1.3: 一 个 数 的 有 效 数字 指 从 左 至 右 第 一 位 非 零 数字 开始 的 所 有 数字 。 

正确 的 有 效 数字 的 位 数 与 这 个 近似 值 的 相对 误差 有 关 , 见 定理 1. 1。 

定理 1.1; 设 之 为 z 的 近似 值 ,车 i 前 p 位 有 效 数字 Cp 三 1) 正确 , 则 其 相对 误差 满足 


3 
do 
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其 中 do 为 过 的 第 一 位 有 效 数 字 。 
【证 明 】 根据 已 知 条 件 , 可 设 
~ m di ds 2 d 1 oe. 
元 二 土 10 x [4+ 当 + 你 + 省 ) 
其 中 ,di;(i 二 0,1,2,…) 为 0~9 的 某 个 数字 , 且 d。 隆 0。 由 于 前 p 位 有 效 数字 正确 ， 


TO 


| 蕊 三 外 寺 10*X% 


而 xz 的 第 一 位 有 效 数字 也 是 du , 则 
|z | 宇 10" Xdo, 


所 以 ， 


. 10" x —l— 
DA 
原 命题 得 证 。 国 
注意 男 一 个 易 混 淆 的 说 法 : 对 某 数 z “保留 p 位 有 效 数字 ”得 到 近似 值 , 此 时 需 考 虑 生 
成 最 后 一 位 有 效 数字 时 的 四 舍 五 入 ,有 定理 1.2。 
定理 1.2: 设 对 x 保留 p 位 有 效 数字 后 得 到 近似 值 , 则 的 相对 误差 满足 : 


[eC2) | x lo, 


24 
其 中 ,de 为 x 的 第 一 位 有 效 数字 。 
【证 明 】 设 


KO 


+ =+10" x (a 人 +") 


10 10” 10? 
保留 p 位 有 效 数字 时 需 考虑 d， 的 值 进行 四 舍 五 入 ,得 


| e(#) |< 10" x x 10-o1 ， 


而 
|z | 10" x ua, 
所 以 ， 
> | iek 动 | 1 加 
二 一 一 一 一 之 一 we 
| 证 pp 10 
原 命题 得 证 。 国 


定理 1. 2 得 到 的 误差 限 正好 是 定理 1. 1 的 一 半 , 这 是 由 于 xz 与 7 关系 的 不 同 造成 的 ,应 
注意 它们 在 表述 上 的 细微 差别 。 

例 1.2( 保 留 p 位 有 效 数字 ): 设 x 一 x 一 3.141 592 65… ,对 它 保 留 3 位 有 效 数字 得 到 i， 
求 + 并 利用 定理 1. 2 估计 相对 误差 限 。 

【 解 】 利用 四 舍 五 入 规则 得 二 三 3. 14。 根 据 定 理 1.2, 其 相对 误差 限 s (4) 二 


1 -2 
Ba 


反 过 来 ,根据 相对 误差 的 大 小 也 可 以 判断 准确 的 有 效 数字 位 数 ,但 结论 要 复杂 一 些 。 
定理 1.3: 设 xz 的 第 一 位 有 效 数字 为 do ,车 近似 值 + 的 相对 误差 满足 
。8 。 
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| e,(z) |< > 


1 
2(ds 十 了) 


则 前 p 位 有 效 数字 正确 ,或 者 在 保留 p 位 有 效 数 字 后 与 x 的 结果 相等 。 
【证 明 】 设 


由 da,d d d 
Xz 二 土 10 x (w+ 噶 + 久 | “+ 全 ++ 芒 +*]， 
根据 已 知 条 件 ， 
| x |<=10" x (d+ 1), 
则 


ee |<10" Xx 寺 X10。 


这 说 明 z 与 x 的 差别 仅 在 wd 所 在 的 数位 上 , 差 值 在 一 5 一 5。 若 两 者 的 第 p 位 有 效 数 字 相 同 
( 均 为 4,_1), 则 前 面 的 有 效 数字 也 一 定 相 同 , 即 + 具 有 jp 位 正确 的 有 效 数字 。 否 则 ,第 p 位 
有 效 数 字 不 相同 , 则 它们 一 定 是 相 邻 的 两 个 数字 ( 设 9 后 面相 邻 的 数字 为 0) ,在 保留 p 位 有 
效 数字 后 与 x 的 结果 将 相等 。 原 命题 得 证 。 国 
考虑 到 du 的 取 值 范围 是 1,2,…,9, 由 定理 1. 3 得 到 如 下 的 重要 推论 。 
定理 1.4: 阁 x 的 近似 值 + 的 相对 误差 满足 


jae i x 107, 


则 至 少 前 p 位 有 效 数 字 正 确 ,或 者 在 保留 p 位 有 效 数字 后 与 x 的 结果 相等 。 
例 1.3( 相 对 误差 限 与 有 效 数字 ): 设 二 9. 9993, 二 一 9. 9997,z, 二 9. 9989。 误差 


le (iD)|=00004< 工 X10-4， 满足 定理 1.4 的 条 件 (p 二 4), 同时 也 发 现 f 至 少 有 4 位 正 


9.9993 “2 
确 的 有 效 数字 。 而 eCzs) | 一 过 二 X107 没有 4 位 正确 的 有 效 数字 ,但 将 2。 和 
xz 都 保留 4 位 有 效 数字 后 ,它们 都 等 于 9. 999。 对 于 近似 数 却 和 ,这 就 验证 了 定理 1.4 的 
结论 。 图 


定理 1.4 的 结论 也 可 以 说 包括 了 “保留 p 位 有 效 数字 正确 ”的 两 种 含义 ,因此 可 笼统 地 
说 , 若 相对 误差 不 超过 记 X10 习 , 则 近似 值 保留 PP 位 有 效 数字 正确 。 其 至 可 以 不 很 严格 地 


说 : 若 相 对 误差 不 超过 10?, 则 近似 值 大 约 有 zp 位 正确 的 有 效 数字 。 

近似 数 的 精度 (precision) 和 准确 度 (accuracy) 含 义 接近 ,为 了 表达 更 严谨 ,应 注意 区 分 。 
精度 与 有 效 数字 的 位 数 有 关 , 而 准确 度 则 与 准确 的 有 效 数 字 位 数 有 关 ( 因 为 它 与 相对 误差 有 
联系 )。 例 如 ,“ 双 精度 浮 点 数 ” 指 表示 浮 点 数 时 采用 了 较 多 的 二 进 制 位 数 ,但 并 不 说 明 其 准 
确 程度 。 又 如 ,可 以 说 3.141 111 11 是 一 个 有 9 位 (十 进 制 ) 精 度 的 数 ,但 它 作为 x 的 近似 值 
时 准确 度 并 不 高 ,只 有 4 位 准确 的 有 效 数字 。 因 此 , 仅 采用 较 高 精度 的 数 进行 数值 计算 并 不 
能 保证 计算 结果 的 准确 度 。 

2. 数据 传递 误差 与 计算 误差 

考虑 一 个 简单 的 计算 问题 : 函数 求 值 。 假 设 有 函数 f: R 一 R ,z 为 函数 输入 参数 的 准 
确 值 , 则 准确 结果 为 fCz) 。 由 于 数据 误差 ,实际 使 用 的 输入 值 为 去 ,同时 计算 函数 f 的 过 

9 。 
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程 也 存在 近似 ,这 使 得 计算 结果 为 1(3) ,其 中 ,7 函数 代表 计算 过 程 中 的 近似 。 因 此 ,总 误 
差 为 
f2)— fr) = [7 一 FE)] 十 [LFGE) 一 zxz)]， CL Dy 

其 中 ,第 一 项 f(z) 一 /(z) 为 输入 同 为 < 时 计算 过 程 的 误差 , 它 是 单纯 的 计算 误差 ; 第 二 项 
了 (32) 一 f(z) 是 由 输入 数据 误差 经 过 精确 的 函数 求 值 过 程 产生 的 误差 , 即 数 据 误差 传递 到 结 
果 的 误差 。 

与 这 个 例子 类 似 , 对 一 般 的 数值 计算 问题 ,可 定义 数据 传递 误差 和 计算 误差 。 

定义 1.4: 一 个 数值 计算 过 程 的 数据 传递 误差 指 单 纯 由 问题 输入 数据 误差 引起 的 计算 
结果 的 误差 (假设 问题 被 快速 求解 )。 

定义 1.5: 一 个 数值 计算 过 程 的 计算 误差 指 计算 过 程 中 的 近似 引起 的 计算 结果 的 误差 。 

最 终结 果 的 误差 可 分 为 数据 传递 误差 和 计算 误差 两 部 分 。 需 要 说 明 的 是 ,数据 传递 误 
差 由 两 方面 因素 决定 : 一 个 是 输入 数据 误差 ; 另 一 个 是 求解 问题 本 身 的 特性 。 因 此 ,算法 的 
选择 不 会 影响 数据 传递 误差 。 

3. 截断 误差 与 舍 入 误差 

与 计算 过 程 中 的 两 种 近似 对 应 ,有 截断 误差 和 舍 入 误差 的 概念 。 

定义 1.6: 截断 误差 (truncation error) 是 指 实际 输入 对 应 的 准确 结果 与 用 给 定 算法 精 
确 计 算得 到 的 结果 之 间 的 差 , 它 反映 了 数值 方法 对 原始 数学 问题 的 简化 和 近似 。 

定义 1.7: 使 入 误差 (rounding error) 是 指 给 定 算法 经 精确 计算 得 到 的 结果 与 同样 的 算 
法 经 有 限 精度 运算 ( 即 舍 入 计算 ) 得 到 结果 之 间 的 差 。 

根据 定义 可 知 ,分 析 截 断 误差 时 不 应 考虑 计算 机 有 限 精度 算术 体系 的 影响 ,而 舍 入 误差 
由 对 实数 的 不 精确 表示 以 及 运算 的 舍 人 引起。 计算 误差 是 截断 误差 和 舍 入 误差 的 和 。 在 前 
面 的 函数 求 值 问题 中 ,计算 误差 六 地) 一/(2) 就 包含 了 截断 误差 和 伟人 误差 两 方面 。 

例 1. 4( 差 商 近似 1 阶 导数 ): 对 于 可 微 函数 /: 及 一 R ,考虑 1 阶 导数 的 差 商 近似 ” 
AZz 十 站 一 FCz) 

h 


f(r) 


其 中 ,h 为 步 长 , 试 分 析 按 此 公式 计算 f(z) 的 截断 误差 与 全 入 误差 ,以 及 它们 与 值 的 
【 解 】 由 泰勒 展开 得 
fri+h) = f(x)+hf’ (rx) 十 生 /9， eeE [zz 十 门 。 
所 以 ,这 个 差 商 近似 的 截断 误差 估计 为 Mh/2, 其 中 ,M 是 | 产 (&) | 的 上 界 。 假 设计 算 一 次 函 
数值 的 误差 上 界 为 e, 则 计算 差 商 公 式 的 舍 和 人 误差 限 为 2e/h。 总 的 计算 误差 限 se 为 它们 
之 和 : 


Mh | 2 
Etot 一 2 he 


其 中 ,第 一 项 随 的 减 小 而 减 小 ,第 二 项 随 h 的 减 小 而 增 大 。 选 择 合适 的 步 长 ,可 使 总 的 


@ ” 差 商 的 严格 定义 见 本 书 6.5 节 。 这 种 近似 也 常 称 为 有 限 差分 近似 。 
站 业 罗 
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计算 误差 最 小 。 经 推导 可 以 看 到 , 当 /)= 王 2 Ve/M 时 总 的 计算 误差 达到 最 小 。 图 1-2 表示 了 
用 上 述 方法 计算 函数 f(z) 二 sinz 在 z==1 点 的 导数 值 时 总 的 计算 误差 与 步 长 有 的 依赖 关 
系 , 同 时 还 画 出 了 截断 误差 . 舍 人 误差 及 总 误差 限 与 步 长 h 的 关系 曲线 ,其 中 , 取 M 王 1,es- 
10-*%( 与 双 精 度 浮 点 数 的 机 器 精度 有 关 , 见 1. 3.2 节 )。 从 图 1-2 可 以 看 出 ,总 误差 在 /= 
10 飞 处 取 最 小 值 ,与 上 述 分 析 比 较 一 致 。 图 


10! 
10- 
103 上 
10- 下 
107 上 实际 
10? 上 
10-10 上 一 
10 上 和 

四 


10-15 过 A 


| ~ Se 


误差 


含 入 误 其 、、 


S| 


-17 1 1 上 上 上 1 1 
1071 107 102 107' 108 104 10” 102 10° 
步 长 h 


图 1-2 不 同步 长 取 值 对 应 的 差 商 近似 导数 的 误差 


对 于 一 个 给 定 的 问题 ,有 时 只 有 截断 误差 和 舍 信 误差 中 的 某 一 个 占 主导 地 位 。 一 般 地 ， 
能 在 有 限 步 之 内 求解 的 纯 代 数 问题 中 , 舍 入 误差 往往 占 主导 地 位 (如 高 斯 消去 法 ) ,而 对 于 涉 
及 积分 , 求 导 , 非 线性 这 类 理论 上 是 无 限 逼 近 过 程 的 问题 ,截断 误差 往往 占 主导 地 位 。 因 此 ， 
分 析 不 同 问题 的 计算 误差 时 ,应 有 所 侧重 。 


1.2.3 问题 的 敏感 性 与 数据 传递 误差 估算 


数据 传递 误差 主要 由 问题 的 敏感 性 决定 ,与 具体 算法 的 选择 无 关 , 下 面 给 出 相关 定义 。 

定义 1.8: 问题 的 敏感 性 (sensitivity) 是 指 输入 数据 的 扰动 对 问题 解 的 影响 程度 的 大 
小 , 它 也 被 称 为 问题 的 病态 性 。 如 果 输 入 数据 的 相对 变化 引起 解 的 相对 变化 不 是 很 大 , 则 称 
这 个 问题 是 不 敏感 的 或 良 态 的 (well-conditioned) ;反之 ,如 果 解 的 相对 变化 远 远 超 过 输入 数 
据 的 变化 , 则 称 这 个 问题 是 敏感 的 或 病态 的 (ill-conditioned) 。 

为 了 定量 地 分 析 问 题 的 敏感 性 ,下 面 引 入 问题 的 条 件数 (condition number) 概 念 。 

定义 1.9: 问题 的 (相对 ) 条 件数 


ond 一 必 问 题 的 解 的 相对 变化 量 | 
帮 给 入 数据 的 相对 变化 量 11 


其 中 , 算 符 ||。 || 表 示范 数 ,用 于 度量 一 个 量 的 大 小 。 

定义 1.9 中 用 到 了 范 数 的 概念 。 对 于 一 个 实数 (复数 ) 量 来 说 , 范 数 就 是 其 绝对 值 ( 模 )。 
对 于 其 他 类 型 的 量 ( 如 向 量 、 矩 阵 、 函 数 ) ,本 书 的 第 3、6 章 将 详细 介绍 它们 的 范 数 。 

定义 1.9 表明 ,条 件数 为 解 的 相对 变化 与 输入 数据 相对 变化 的 比值 。 如 果 一 个 问题 的 
条 件数 远大 于 1, 则 称 这 个 问题 是 病态 的 。 也 可 以 将 条 件数 理解 为 输入 数据 误差 的 “放大 因 
子 ”, 如 果 问 题 是 病态 的 , 则 即使 输入 数据 的 相对 误差 很 小 ,引起 解 的 相对 误差 也 可 能 很 大 。 
以 前 面 的 函数 求 值 问题 为 例 , 其 条 件数 有 下 面 的 计算 公式 : 


《1 


a 
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[fA(2)= F601/7 (0) 


(ZC—z)/r 
注意 ,条 件数 是 针对 问题 而 言 的 ,不 涉及 求解 的 具体 方法 ,因此 计算 条 件数 的 公式 中 使 用 准 
确 函 数 /, 而 不 是 实际 计算 对 应 的 近似 函数 了 。 
即便 是 同一 个 问题 ,条 件数 也 会 随 输入 数据 而 变化 。 在 实际 中 ,一 般 不 能 具体 求 出 条 件 
数 的 值 ,只 能 在 输入 数据 的 可 能 变化 范围 内 对 条 件数 进行 粗略 估计 或 给 出 其 上 限 。 这 样 , 输 
入 数据 扰动 和 引起 解 的 相对 误差 之 间 就 满足 以 下 近似 的 不 等 式 : 
上 | 数据 传递 的 相对 误差 上 cond x || 输入 数据 的 相对 变化 | Cl 
式 (1.3) 考 虑 了 数据 传递 误差 的 最 差 情 况 。 
进一步 分 析 函 数 求 值 问题 的 条 件数 。 假 设 函 数 了 可 微 , 则 
CE) 一 xz) Tf x) (i— zr), 


cond = 


所 以 ， 
[Fi) 一 FCz)]/FCz) 
(均一 并 )/z 
得 到 了 函数 求 值 问题 条 件数 的 估计 式 。 
例 1.5( 函 数 求 值 问题 的 敏感 性 ) : 假设 x 取 0, 且 接近 x/2 的 整数 倍 , 试 用 条 件数 估计 式 
分 析 计 算 正 切 函 数 F(z)=tanz 的 问题 敏感 性 。 
【 解 】 由 广 (z) 王 secsxz 一 1 十 tan2z, 有 
5 本 
-| 轩 坟 |-|:( 志 +wn)|. 
当 x 接近 x/2 的 整数 倍 时 ( 且 x 翅 0), 条 件数 趋 于 无 穷 大 ,此 时 计算 tanz 是 高 度 敏 感 的 。 例 
如 ,对 xz=1.570 79(x/2 附近 的 值 ,x/2 守 1. 570 796), 按 这 个 公式 算出 的 近似 条 件数 为 
2..48276X 0; 
作为 比较 ,计算 两 个 相 邻 点 的 函数 值 ， 
tan(1. 570 79) = 1. 580 58 X 105 ， 
tan(1. 570 78) = 6. 124 90 X 104， 
根据 它们 计算 出 z=1. 570 79 处 条 件数 为 


(15.8058 一 6.124 90) x 104/1.580 58 x 105 
10™/1.57079 


与 上 面 近似 条 件数 的 结果 很 接近 。 如 此 大 的 条 件数 说 明 ,输入 扰动 经 过 计算 过 程 在 输出 结 
果 上 放大 了 几 十 万 倍 , 因 此 在 x=x/2 点 附近 计算 tanz 是 很 敏感 的 问题 。 国 

关于 一 元 函数 求 值 问题 ,可 进一步 讨论 其 反问 题 的 敏感 性 。 求 函数 值 y= 二 f(x) 的 反问 
题 是 对 给 定 的 >, 确定 满足 y= 二 f(z) 的 zx, 即 计算 x=!(y)。 如 果 原 问题 中 考虑 的 z+ 值 与 
反问 题 中 考虑 的 y 值 满足 y 二 f(x) 的 关系 , 则 根据 条 件数 的 定义 知 反 问题 的 条 件数 为 原 问 
题 条 件数 的 倒数 。 如 果 条 件数 接近 1, 则 原 问 题 \, 反 问题 都 是 良 态 的 ,否则 两 个 问题 中 必 有 
一 个 是 病态 的 。 类 似 于 计算 函数 y= 二 f(x) 问题 条 件数 的 估计 式 (1.4) ,对 于 反 函 数 g(y)= 
1:(y), 有 (假设 了 (x) 关 0, 则 gy)=1/ 了 (zx)) 


yg (y) fx) » 1/f (zx) fz) 
g(y) 天 了 


这 个 反 函 数 的 条 件数 估计 式 也 正好 与 原 函 数 的 近似 条 件数 ( 式 (1.4)) 互 为 倒数 。 
和 


xf’ (x) 
f(z) 


和 (1.4) 


cond = 


cond OT 


cond 一 A 9.621 X 104， 


cond 人 
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例 1. 6( 函 数 求 值 问题 及 其 反问 题 的 条 件数 ) : 函数 f(x) 二 Vx, 分 析 该 函数 求 值 问题 及 
其 反问 题 的 敏感 性 。 
【 解 】 由 (x)==1/(2 Vz), 有 条 件数 
zf (z) | 1 
fx) pm 
它 说 明 计算 结果 的 相对 变化 是 输入 数据 相对 变化 的 1/2, 所 以 求 平方 根 问题 是 非常 良 态 的 。 


近似 计算 反问 题 5Cy) 一 3 的 条 件数 ,得 | ?8 | 一 | :> | 一 ,说 明 反问 题 也 不 太 化 感 。 
图 


cond 人 


xz/2 Vr 
Vr 


关于 条 件数 ,再 说 明 以 下 两 点 。 

(1) 除了 一 些 简单 问题 ,大 多 数 实际 问题 的 条 件数 无 法 具体 计算 ,只 能 对 其 上 限 进行 估 
计 , 这 时 原 问 题 与 反问 题 的 条 件数 上 限 将 不 会 互 为 倒数 。 

(2) 式 (1.2) 定 义 的 条 件数 也 称 为 相对 条 件数 , 它 要 求 输入 和 输出 的 准确 值 不 为 零 , 如 
果 在 某 些 特殊 情况 下 不 满足 这 个 条 件 , 可 用 绝对 变化 量 代替 公式 中 的 相对 变化 量 , 得 到 的 条 
件数 称 为 绝对 条 件数 。 

除了 通过 条 件数 ,还 可 以 直接 根据 微分 知识 对 一 些 简 单 运算 的 数据 传递 误差 进行 估计 。 
假设 计算 结果 与 输入 数据 满足 多 元 函数 关系 : y 三 fri ,zo，… ,zx,), 设 实际 的 数据 相应 地 为 
2 而 3 一), 则 利用 多 元 函数 的 泰勒 展开 并 取 线 性 项 得 


yy 一》 之 > Ea 区 2 9 Hs) 。 (Zi 一元)， 
i=l i 


这 里 假设 数据 误差 很 小 。 因 此 ,可 得 到 数据 传递 误差 限 的 估计 : 


ed | Bs 
i=1 te 
考虑 相对 误差 限 , 则 有 
> "|9 
e, (9) ED 三 > 9f (4, ,i EC, , 
| " | i=1l I ci | 6 | 


利用 上 述 结论 ,很 容易 得 到 加 减 乘 . 除 等 运算 的 误差 限 计算 式 。 设 z .zt 的 误差 限 分 
别 为 s 和 6;, 则 
e(fl 士 f) 王 sl 十 ez， 


e(X1 zz) 一 | zz |sl 十 |2 | ez， 
1 XT2 |z | ea | 1 | ez Cl 
sh) lentile SAF0., 
| £2 | 
6 (志士 吉 ) 一 [和 皇 十 全 
| 遍 士 吉 | 
二 E E 
er (Zi 2 ) 一 一 :一 = 《TiGy 
| 去 | |z, | 
交 E E 到 
er (fa/ fa) 一 一 :一 十 一 一 ,和 0 。 
| 去 | |z, | 


更 进一步 , 设 鹿 ,的 相对 误差 限 分 别 为 ea ,es , 则 
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| | | | 名 | 
二 Erl 十 
| | 


er (元 主 马 小 
Cl 


er (Zi Zs) = enter, 
er (Zi1/ fa) 一 en 十 sayz 天 0。 
其 中 ,第 一 个 公式 表明 ,如 果 寺 和 字符 号 相同 , 则 冯 十 吉 的 相对 误差 不 超过 sa ,se 中 较 大 的 那 
个 ,但 去 一 的 相对 误差 限 可 能 很 大 。 
注意 ,这 些 公式 反映 的 是 自 变 量 误差 较 小 时 的 近似 。 


1.2.4 算法 的 稳定 性 


与 问题 的 敏感 性 对 应 ,算法 的 稳定 性 (stability) 反 映 了 “计算 过 程 中 ”的 扰动 对 计算 结果 
的 影响 程度 。 它 也 称 为 数值 稳定 性 ,是 数值 算法 的 一 个 重要 属性 。 根 据 不 同 的 问题 和 场合 ， 
算法 稳定 性 的 定义 会 有 一 些 差别 , 它 主要 有 两 种 含义 。 

(1) 若 计算 结果 对 计算 过 程 中 的 舍 人 误差 不 敏感 , 则 相应 的 算法 为 稳定 的 算法 。 

(2) 对 于 包含 一 系列 步骤 的 计算 过 程 , 若 计算 中 的 小 扰动 不 被 放大 (传播 ) 或 放大 不 严 
重 , 则 相应 的 算法 是 稳定 的 算法 。 

下 面 借助 两 个 例子 进行 说 明 。 

例 1.7( 对 舍 入 误差 不 敏感 的 算法 ): 有 长 度 为 100 的 数组 ,每 个 数组 元 素 都 是 仅 有 两 位 
有 效 数 字 的 实数 ,并 且 假 设 执行 两 位 精度 的 浮 点 运算 , 求 这 些 元 素 之 和 。 

常规 的 算法 是 按 数 组 存储 顺序 依次 累加 数值 ,但 它 可 能 导致 结果 有 很 大 误差 。 例 如 , 假 
设 数组 中 的 数 依次 为 1.0,0.01,… ,0.01( 共 99 个 相同 的 0.01) ,由 于 浮 点 计算 的 舍 人 误差 ， 
按 常 规 算法 将 得 到 结果 为 1.0, 大 大 偏离 准确 解 。 

另 一 种 算法 是 先 按 元 素 绝对 值 递增 的 顺序 对 数组 进行 排序 ,然后 再 依次 累加 元 素 。 对 
于 上 述 数据 ,该 算法 的 结果 为 2.0., 非 常 接近 准确 值 。 显 然 , 这 个 算法 才 是 解决 问题 的 稳定 
算法 ,因为 它 不 太 容易 受 计算 过 程 中 舍 和 人 误差 的 影响 。 国 

例 1. 8( 造 成 误差 恶性 传播 的 算法 ) : 计算 “黄金 分 割 * 比 例 $8== (V5 一 1)/2 的 前 个 整数 
次 窒 ( 如 二 20) ,假设 上 的 值 取 其 近似 值 zx 一 0.618 034( 保 留 6 位 有 效 数字 )。 

第 一 种 算法 是 直接 做 乘法 , 则 每 次 做 一 次 乘法 依次 得 到 风 , 风 ,… 的 计算 值 。 第 二 种 算 
法 是 利用 下 面 的 递 推 公式 : 


gt 一 各 1 一 加 。 
容易 验证 这 个 递 推 公 式 的 正确 性 ,而 且 采 用 这 个 算法 每 步 仅 计算 一 次 减法 ,在 运算 量 上 较 少 
一 些 。 该 递 推算 法 的 初始 值 为 z"==1,x! 二 0.618 034, 采 用 它 在 双 精 度 浮 点 数 系统 中 算出 的 
前 20 个 寡 见 表 1-3( 使 用 MATLAB 得 到 ) 。 


表 1-3 前 20 个 蛙 
n 穴 的 计算 值 n 多 的 计算 值 n 多 的 计算 值 
1 0. 618 034 4 0. 145 898 7 0. 034 442 
2 0. 381 966 5 0.090 170 8 0. 021 286 
3 0. 236 068 6 0.055 728 9 0.013 156 
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续 表 
n 多 的 计算 什 n 多 的 计算 值 n 多 的 计算 值 
10 0. 008 130 14 0.001 182 18 0. 000 144 
验 0. 005 026 扬 0. 000 740 19 0. 000 154 
12 0. 003 104 16 0. 000 442 20 一 0. 000 010 
13 0. 001 922 17 0. 000 298 


从 上 述 结果 很 容易 看 出 , 昭 的 计算 结果 为 负数 ,相对 误差 超过 100%% ,结果 是 完全 错误 的 。 
与 直接 做 乘法 的 算法 相 比 ,第 二 种 算法 中 误差 的 增长 显然 剧烈 得 多 ,可 以 假设 计算 光 
的 误差 为 e,, 则 有 误差 的 递 推 式 : 


Entl 一 Enl™ En 


据 此 ,可 推导 出 误差 的 传播 趋势 : 


如 此 算 下 去 可 得 |ex|=cle| ,其 中 < 是 斐 波 那 契 (Fibonacci) 序 列 第 20 项 的 值 , 说 明 计算 好 
的 误差 已 经 比 $ 的 误差 放大 了 许多 信 。 

采用 直接 相 乘 的 方法 时 , 随 着 寡 指 数 的 增 大 ,结果 的 误差 是 逐渐 减 小 的 (由 于 %<1) , 计 
算 类 的 误差 大 约 是 g 的 误差 乘 以 gs (=1X10-4)。 对 比 两 种 算法 ,显然 第 二 种 算法 非常 不 
稳定 。 国 

讨论 这 个 问题 时 ,我 们 没有 考虑 舍 人 误差 ,这 是 因为 采用 了 双 精 度 浮 点 数 计算 , 舍 人 误 
差 已 经 非常 小 。 另 外 ,由 于 风 的 值 是 输入 数据 ,实际 上 也 可 以 用 数据 传递 误差 以 及 条 件数 分 
析 两 个 算法 优 劣 的 区 别 , 此 时 第 二 种 算法 可 看 成 男 一 个 等 效 的 计算 问题 ,具体 的 分 析 留 给 感 
兴趣 的 读者 。 

在 算法 稳定 性 的 第 2 种 含义 中 ,考虑 的 扰动 一 般 是 指 相对 误差 。 如 果 相 对 误差 随 着 计 
算 过 程 放 大 很 严重 , 则 可 认为 这 个 算法 是 不 太 稳 定 的 。 

分 析 算 法 的 稳定 性 时 往往 需 考虑 计算 中 的 舍 人 误差 对 结果 的 影响 ,这 对 于 计算 步骤 成 
千 上 万 的 实际 问题 非常 困难 。 有 一 种 方法 称 为 向 后 误差 分 析 法 ,对 某 些 问题 的 算法 稳定 性 
分 析 有 效 。 下 面 给 出 向 后 误差 的 定义 。 

定义 1.10: 向 后 误差 (backward error) 是 指 假设 计算 过 程 没有 近似 时 ,将 结果 误差 折算 
为 初始 数据 上 的 扰动 , 即 向 后 误差 是 等 效 的 初始 数据 误差 。 

以 函数 求 值 问 题 为 例 ,考虑 函数 f: R 一 R ,zx 为 函数 输入 参数 的 准确 值 , 设 y= f(x)， 
计算 得 到 的 近似 值 为 5, 那么 向 后 误差 为 r= 一 x, 其 中 满足 (3) 一 》。 向 后 误差 Azx 的 
大 小 反映 了 算法 的 稳定 性 。 如 果 向 后 误差 小 , 则 说 明 计算 中 的 扰动 仅 等 效 为 较 小 的 输入 数 
据 扰动 , 则 相应 的 算法 是 稳定 的 。 
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20 世纪 60 年 代 , Wilkinson( 威 尔 金森 ) 利 用 向 后 误差 分 析 法 对 高 斯 消去 过 程 中 的 舍 入 
误差 进行 了 仔细 分 析 , 得 出 了 关于 高 斯 消去 法 稳定 性 的 结论 。 这 将 在 第 3 章 具体 介绍 。 

了 解 问题 的 病态 性 和 算法 的 稳定 性 非常 重要 ,本 书 的 后 续 章 节 将 结合 具体 的 问题 和 算 
法 加 以 讨论 。 实 际 的 数值 计算 问题 往往 包括 若干 个 前 后 衔接 的 子 问题 ,只 有 每 个 子 问题 都 
是 不 敏感 的 问题 ,并 采用 稳定 的 算法 求解 ,才能 保证 最 终 解 的 准确 性 。 


1.3 计算 机 浮 点 数 系统 与 伟人 误差 


计算 机 采用 有 限 字 长 的 浮 点 算术 体系 ,使 用 它 进行 数值 计算 时 会 不 可 避免 地 产生 舍 人 
误差 ,本 节 对 这 方面 进行 详细 讨论 。 
1.3.1 计算 机 浮 点 数 系统 

数值 计算 考虑 的 科学 与 工程 问题 都 涉及 实数 的 各 种 运算 ,而 实际 的 计算 机 系统 只 能 用 
有 限 字 长 的 浮 点 数 (floating-point number) 近 似 表示 实数 。 浮 点 数 以 及 它们 之 间 的 运算 构 
成 了 整个 浮 点 算术 体系 。 

设 浮 点 数 系统 FF 采用 PB 进 制 ,任意 zxEF 的 浮 点 数 都 采用 类 似 于 科学 计数 法 的 表示 形式 


工 + (a fa Es + “+ ps (1.7) 
其 中 ,整数 d; 满足 
0<d<p—1l, i=0,1,2,%…,p—1, 
整数 已 满足 
全 < 


式 (1.6) 括 号 中 的 部 分 可 用 一 串 p 位 8B 进 制 数字 dodid，… ds-1 表 示 , 称 为 尾数 。 其 中 ， 
dids"…dp-1 部 分 称 为 小 数 。E 称 为 浮 点 数 xz 的 指数 。 在 计算 机 中 , 正 负 号 、 指 数 、 尾 数 都 存 
储 在 浮 点 数 的 不 同 域 中 ,每 个 域 都 有 固定 的 长 度 。 浮 点 数 系统 中 主要 都 是 规范 化 的 数 , 即 除 
了 zx 三 0 的 其 他 情况 下 首位 数字 do 隆 0, 这 使 得 尾数 m 满足 1 三 m 二 B。 对 浮 点 数 系统 进行 规 
范 化 具有 下 述 好 处 。 

(1) 使 数 的 表示 方法 唯一 。 

(2) 使 得 p 位 尾数 都 是 有 效 数 字 , 因 此 数 的 表示 精度 最 大 化 。 

(3) 在 二 进 制 系统 中 (8=2) ,一 定 有 d= 二 1, 不 需要 存储 ,该 位 用 于 表示 数 的 正 负 号 , 称 

根据 式 (1.6) 以 及 规范 化 技术 ,一 个 规范 化 的 浮 点 数 系统 由 4 个 整数 完全 确定 : 基数 
(或 底数 )B、 尾 数 长 度 (或 精度 )p、 指 数 下 限 值 工 和 上 限 值 U。 在 不 加 说 明 的 情况 下 ,下 面 讨 
论 的 都 是 规范 化 浮 点 数 系统 。 

理论 上 讲 ,不同 的 计算 机 可 以 给 上 述 4 个 参数 赋予 不 同 的 值 , 从 而 得 到 不 同 的 浮 点 数 系 
统 。 在 计算 机 发 展 的 早期 ,有 的 计算 机 使 用 二 进 制 ,有 的 计算 机 使 用 十 进 制 ,甚至 还 有 一 种 
苏联 的 计算 机 使 用 三 进 制 。 而 在 二 进 制 计算 机 中 ,有 些 使 用 2 为 基数 ,有 些 使 用 8 或 16 为 
基数 ,并 且 各 自用 不 同 的 精度 表示 数 。1985 年 .美国 国家 标准 局 和 IEEE 标准 委员 会 为 二 
进 制 浮 点 数 体系 共同 颁布 了 ANSI/IEEE 754-1985 标准 。 这 个 标准 文件 是 大 学 、 计 算 机 制 
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造 商 、 微 处 理 器 公司 的 92 位 数学 家 、 计 算 机 科学 家 和 工程 师 组 成 的 工作 组 历时 10 年 工作 的 
结晶 。 表 1-4 列 出 了 包括 早期 的 一 些 典 型 浮 点 数 系统 的 参数 ,由 这 些 参数 的 值 或 范围 可 以 
知道 浮 点 数 的 二 进 制 字 长 。 


表 1-4 典型 浮 点 数 系统 的 参数 


浮 点 数 系统 B p L i 
IEEE 单 精度 多 24 一 126 127 
IEEE 双 精 度 2 53 一 1022 1023 
Cray 计算 机 六 48 一 16 383 16 384 
HP 计算 器 10 2 一 499 499 
一 种 IBM 大 型 机 16 6 一 64 63 


IEEE 标准 定义 了 单 精 度 和 双 精 度 两 种 浮 点 数 系统 。 从 表 1-4 可 以 看 出 ,IEEE 单 精度 
系统 表示 一 个 浮 点 数 需 32 个 二 进 制 位 ,而 一 个 双 精 度 浮 点 数 需 64 个 二 进 制 位 ,所 以 我 们 常 
说 ,一 个 单 精度 浮 点 数 占 4B( 字 节 ) 的 存储 空间 ,一 个 双 精 度 浮 点 数 占 8B 的 存储 空间 。 
图 1-3 显示 了 一 个 双 精 度 浮 点 数 对 应 的 二 进 制 机 器 码 。.1985 年 以 后 的 计算 机 都 使 用 IEEE 
标准 的 浮 点 算术 体系 ,虽然 在 这 个 标准 框架 下 还 允许 少量 的 变化 ,但 它 形成 了 一 个 与 具体 计 
算 机 类 型 无 关 的 统一 浮 点 数 模型 ,有 利于 数值 计算 的 研究 和 可 靠 、 可 移植 软件 的 开发 。 此 
外 ,精心 设计 的 IEEE 标准 还 合理 地 处 理 了 某 些 特殊 情况 。 例 如 , 它 定义 了 下 面 两 个 特 
殊 值 。 


x=[p1by bisb1s bosl, 


正 负 号 (1 位 ) 。” E+1023(11 位 ) 。” 尾数 的 小 数 部 分 
图 1-3 IEEE 双 精 度 浮 点 数 各 个 二 进 制 位 的 含义 (符号 .指数 和 小 数 3 部 分 ) 


(1) Inf: 表示 无 穷 ,由 有 限 数 被 零 除 产生 ,如 1/0。 

(2) NaN: 表示 不 是 数 (not a number) ,由 没有 定义 或 不 确定 的 操作 产生 ,如 0/0、 
0x Inf、Inf/Inf 。 

这 两 个 特殊 值 以 及 0 都 是 通过 特殊 的 指数 域 取 值 实现 的 。 

任何 一 个 浮 点 数 系统 中 表示 的 数 都 是 有 限 个 离散 的 数 ,根据 式 (1.6) 可 计算 出 一 个 浮 点 
数 系统 能 表示 的 数 的 个 数 。 正 负 号 有 两 种 选择 ,尾数 的 首位 有 8 一 1 种 选择 ,其 他 p 一 1 位 都 
有 B 种 选择 ,指数 可 能 取 U 一 LL 十 1 个 值 ,最 后 加 上 0, 规 范 化 浮 点 数 的 总 个 数 为 
2(8— DPCU—L+D)+1, 

定义 1.11: 一 个 浮 点 数 系统 中 ,最 小 的 正 数 称 为 下 溢 值 (underflow level, UFL)。 

定义 1. 12: 一 个 浮 点 数 系 统 中 ,最 大 的 正 数 称 为 上 溢 值 (Coverflow level,OFL) 。 

显然 ,最 小 的 正 数 为 大, 它 对 应 的 尾数 为 1 ,指数 为 最 小 值 L。 因 此 ,下 溢 值 

UFES=A; 
若 取 尾 数 的 每 一 位 都 为 8 一 1, 且 指数 为 最 大 值 U, 则 得 到 上 溢 值 
OFL = B11—pB?). 
ey 汪 
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任何 超过 OFL 的 数 都 不 能 用 浮 点 数 表示 ,而 小 于 UFL 的 正 数 也 无 法 表示 。 对 于 IEEE 单 
精度 和 双 精 度数 ,OFL 和 UFL 的 值 ( 取 4 位 有 效 数 字 ) 列 于 表 1-5。 


表 1-5 IEEE 浮 点 数 系 统 中 的 几 个 关键 数值 


名 称 OFL UFL ea 
IEEE 单 精度 3.403X 10 本 了 5.960X10- 
IEEE 双 精 度 1.797X 10%% 10 l.110X 0 


在 浮 点 数 系统 中 ,这 些 离散 的 值 并 不 是 均匀 间隔 的 .但 在 8 的 相 邻 究 之 间 ( 即 BF 与 B81? 
之 间 ) 是 等 间距 的 。 下 面 举例 说 明 这 一 点 。 

例 1.9( 浮 点 数 系统 ) : 考虑 一 个 简单 的 浮 点 数 系统 ,其 中 ,8 二 2,p 二 3,L 1.U=1, 
图 1-4 标 出 了 这 个 系统 中 所 有 的 25 个 浮 点 数 。 对 这 个 系统 ,最 大 的 浮 点 数 OFL = 
(1.11)s X21! 二 (3.5)w ,最 小 的 正 浮 点 数 为 UFL==(1.00)s X27!= 二 (0.5)i。。 这 里 , 数 的 下 标 
表示 二 进 制 或 十 进 制 。 此 外 ,可 以 观察 到 浮 点 数 不 是 等 间隔 分 布 的 ,但 在 相 邻 的 2 的 整数 次 


寡 之 间 , 浮 点 数 呈 均匀 分 布 。 这 是 一 般 的 浮 点 数 系统 都 具有 的 特点 。 转 
2-120 21 22 
1 1 
HH 
吉 


图 1-4 一 个 简单 的 浮 点 数 系统 ,B=2,p 二 3,L 二 一 1,U==1 


在 例 1.9 中 ,可 以 看 到 0 与 它 附近 的 浮 点 数 间隔 较 大 ,这 是 由 规范 化 造成 的 。 由 于 尾数 
最 小 为 1.00… ,指数 最 小 为 上 ,所 以 0 和 fr 之 间 不 可 能 有 浮 点 数 。IEEE 标准 中 定义 了 一 种 
次 规范 化 规则 ,使 得 0 和 B" 之 间 的 数 得 以 表示 。 次 规范 化 放松 了 规范 化 的 限制 ,在 指数 域 
取 一 个 特殊 值 的 情况 下 允许 尾数 的 首位 为 0, 这 样 0 周围 的 间隔 就 可 以 被 新 增 的 浮 点 数 填 
充 。 对 于 例 1.9 中 的 系统 ,采用 次 规范 化 得 到 新 系统 包含 的 浮 点 数 , 如 图 1-5 所 示 。 


新 增 的 浮 点 数 
一 二 二 村 HH 二 二 二 一 
= 0 l 2 3 4 


图 1-5 次 规范 化 的 浮 点 数 系统 ,B=2,p==3,L= 一 1,U=1 


IEEE 标准 中 的 次 规范 化 的 机 制 使 得 下 洲 值 变 小 ,这 种 现象 也 称 为 渐进 下 洲 。 此 外 ,次 
规范 化 虽然 增加 了 所 表示 数 的 范围 ,但 新 增加 的 数 的 精度 要 低 于 其 他 浮 点 数 ,因为 它们 的 有 
效 数 字 较 少 。 


1.3.2 舍 入 与 机 器 精度 


能 在 浮 点 数 系统 中 精确 表示 的 实数 称 为 机 器 数 。 如 果实 数 xz 不 是 机 器 数 , 则 在 计算 机 
中 须 用 某 个 邻近 的 浮 点 数 近 似 它 ,这 个 近似 数 记 为 f(x), 而 近似 的 过 程 称 为 舍 入 
(rounding) ,所 产生 的 误差 称 为 伟人 误差 。 有 两 种 常用 的 舍 人 原则 。 

(1) 截断 舍 入 : 先 将 工 表 示 成 8 进 制 数 的 形式 (如 式 (1.6)) ,然后 将 第 do-: 之 后 的 尾数 
截 去 。 按 这 种 伟人 规则 ,在 数 轴 上 ,fl(z) 和 0 处 于 z 的 同一 侧 , 并 且 flCz) 是 在 该 侧 最 接近 
工 的 浮 点 数 , 因 此 ,这 种 舍 人 规则 也 称 为 “向 零 舍 人 法 ”。 

Ne 
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(2) 最 近 舍 人 : flz) 是 与 工 最 接近 的 浮 点 数 。 如 果 工 左右 两 侧 最 近 的 浮 点 数 与 zx 的 距离 
都 相同 , 则 一 般 取 最 后 一 位 数字 为 偶数 的 那个 。 出 于 这 个 原因 ,这 种 伟人 规则 也 称 为 “偶数 舍 人 

例 1.10( 最 近 舍 入 规则 的 特殊 情况 ): 考虑 例 1. 9 中 的 简单 浮 点 数 系统 ,其 中 尾数 为 
3 位 二 进 制 数 , 按 照 最 近 舍 人 规则 ,zx 二 (1.625)yo 对 应 的 机 器 数 是 多 少 ? 

【 解 】 由 于 (1.11)s 二 (1.75)1o,(1.10)s 二 (1.5)w ,两 者 与 x 的 距离 相同 ,根据 最 近 使 
入 规则 ,fl1(x) 二 (1.10)s 以 符合 最 后 一 个 存储 位 为 偶数 的 规定 。 国 

例 1.11( 两 种 舍 入 规则 ) : 用 介绍 的 两 种 舍 入 规则 将 下 列 十 进 制 数 会 入 到 两 位 ,结果 见 
表 1-6。 

表 1-6 两 种 舍 入 规则 举例 


数 截断 舍 入 最 近 舍 人 
5.04 5.0 5.0 
5.05 5.0 5.0 
5.14 5.1 
5.15 5..1 52 


从 例 1. 10 和 例 1. 11 可 以 看 出 ,最 近 舍 入 规则 与 人 们 通常 说 的 “四 舍 五 人 "差不多 , 它 比 
截断 舍 人 更 准确 。 截 断 舍 和 主要 在 早期 的 浮 点 数 系统 中 使 用 ,目前 的 计算 机 几乎 都 采用 最 
近 舍 人 , 它 也 是 IEEE 标准 中 的 默认 舍 人 规则 。 因 此 ,在 不 加 说 明 的 情况 下 ,本 书后 面 的 内 
容 都 遵循 最 近 舍 人 规则 , 且 为 了 方便 , 仅 考 虑 * 四 舍 五 人 ”。 

在 数值 计算 中 ,与 合 人 类 似 的 一 种 近似 发 生 在 数 的 输入 和 输出 过 程 中 。 输 入 输出 数据 
通常 都 是 十 进 制 形式 ,而 有 限 位 的 十 进 制 数 表 示 成 二 进 制 时 可 能 成 为 无 限 位 循环 小 数 , 因 
此 ,将 它 转换 为 计算 机 内 部 使 用 的 二 进 制 浮 点 数 时 会 产生 误差 。IEEE 标准 没有 对 这 种 转 
换算 法 加 以 规定 ,但 Netlib 程序 库 中 提供 了 一 种 有 效 的 、 可 移植 的 二 进 制 、 十 进 制 浮 点 数 转 
换 程序 (dtoa 和 strtod) 。 

浮 点 运算 系统 的 精度 往往 用 机 器 精度 (machine precision 或 machine epsilon) 刻 画 。 

定义 1.13: 一 个 B 进 制 浮 点 数 系统 的 机 器 精度 记 为 em, 它 是 满足 f1(1 十 e) 记 1 的 e 的 
下 确 界 , 即 

su 一 inf{fs:fl(1 十 s) 二 1) 。 (1.8) 
考虑 最 近 舍 人 规则 ,有 
Emach 一 8。 
车 采用 截断 舍 人 人 , 则 ewwo 二 BP?。 

1.3.1 节 的 表 1-5 中 也 列 出 了 IEEE 单 精度 和 双 精 度 浮 点 数 的 su。 机 器 精度 是 一 个 
非常 重要 的 指标 。 考 虑 以 式 (1. 6) 的 形式 表示 的 非 零 实 数 z, 则 su 为 指数 巨 =0 的 实数 
转换 为 浮 点 数 f(z) 的 绝对 误差 上 限 。 对 一 般 的 实数 zx, 则 机 器 精度 是 将 工 用 浮 点 数 表 示 的 
相对 误差 上 限 。 

定理 1.5: 在 规范 化 的 浮 点 数 系统 中 表示 非 零 实数 xz, 其 相对 误差 限 是 sw , 即 
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定理 1. 5 可 以 通过 定理 1.2 证 明 , 只 需 将 其 中 的 十 进 制 改 为 8 进 制 。 

有 时 ,机 器 精度 也 定义 为 从 1 到 下 一 个 比 它 大 的 浮 点 数 的 距离 (例如 , MATLAB 软件 
中 的 eps 常数 ) , 它 与 定义 式 (1.7) 的 含义 不 完全 相同 ,正好 是 最 近 舍 人 规则 下 ew 值 的 两 
倍 。 无 论 如 何 , 机 器 精度 都 是 度量 浮 点 数 之 间 间 隔 大 小 的 一 个 量 。 


IEEE 单 精度 的 es 一 二 X22 一 2-2# sz0.6X10-7, 它 体现 了 用 单 精 度 浮 点 数 表示 实 


数 的 相对 误差 上 限 。 根 据 定理 1.4, 单 精度 浮 点数 大 约 有 7 位 正确 的 有 效 数 字 。 对 双 精 度 浮 
点 数 也 可 做 类 似 分 析 , 双 精度 的 ss:0.11X10-5 , 则 双 精 度 浮 点 数 有 15 位 正确 的 有 效 数字 。 
虽然 机 器 精度 和 下 溢 值 都 是 很 小 的 量 , 但 不 能 把 它们 混为一谈 。 机 器 精度 的 sm 由 浮 
点 数 系统 尾数 域 的 位 数 决定 ,而 下 溢 值 UFL 主要 由 指数 域 的 位 数 决定 。 在 实用 的 浮 点 数 
系统 中 ,UFL、OFL 和 em 这 3 个 特征 量 的 关系 为 
0<UFL 一 su 二 OFL 。 


1.3.3 ” 浮 点 运算 的 舍 入 误差 


两 个 浮 点 数 加 、 减 时 ,需要 让 它们 的 指数 相等 ,然后 用 尾数 进行 加 、 减 运算 。 如 果 指 数 不 
相等 ,必须 将 其 中 较 小 的 数 的 尾数 缩小 ,以 使 两 个 数 的 指数 值 匹配 。 缩 小 尾数 相当 于 在 存储 
字 节 内 将 数据 右 移 , 造 成 有 效 数字 位 数 减 少 ,使 得 计算 结果 不 准确 。 考 虑 极端 情况 , 若 缩 小 
后 的 尾数 小 于 机 器 精度 , 则 它 对 加 、 减 运算 结果 将 不 再 产生 影响 。 下 面 的 定理 说 明了 这 种 情 
况 ,详细 的 证 明 留 给 感 兴趣 的 读者 思考 (利用 二 进 制版 本 的 定理 1. 4, 将 zs 看 成 误差 ) 。 

定理 1.6: 考虑 IEEE 浮 点 数 系统 中 的 两 个 实数 zi .zs , 除 特殊 情况 外 ?， 


(1) 若 Dem ; 则 zi 十 zx; 的 计算 结果 一 定 等 于 xz, 即 x; 对 zi 十 x 的 结果 毫 无 影响 。 


Zz 
Tl 


(2) 若 这 emo ; 则 zi 十 zz 的 计算 结果 一 定 不 等 于 zx。 


2 
TX1 


(3) 车 地 met 二 | 3 | 过 em, 则 zi 十 zz 的 计算 结果 等 于 zi 或 与 它 相 邻 的 浮 点 数 。 


例 1. 12( 浮 点 运算 ) : 考虑 6 位 尾数 的 十 进 制 浮 点 数 (8=10,.p 王 6),z 一 1.235 07X103， 
yy 二 5.432 19X10- , 则 浮 点 加 的 结果 为 zx 十 y=1.235 61X103。 这 里 ,y 的 最 后 三 位 对 结果 
没有 影响 。 类 似 地 , 浮 点 乘 的 结果 为 x+， y= 二 6.709 13X10: ,这 个 结果 将 准确 结果 中 后 一 半 
的 位 数 都 丢掉 了 。 国 

1 和 10 都 可 以 用 二 进 制 浮 点 数 精确 表示 ,但 它们 的 商 1/10 是 一 个 二 进 制 的 无 限 循 环 小 数 : 

1 


机 由 
6 =2 Re 下 


@ 特殊 情况 是 : 车 | zl | 是 2 的 整数 次 震 , 且 zz 与 立 的 正 负 号 相反 , 则 需 


Zz 
x1 


达 吉 emo, 才 能 使 十 zo 的 计算 结 


果 等 于 zl ,而 只 要 


2 
Xl 


> 二 em ,就 能 使 十 zz 的 计算 结果 一 定 不 等 于 zl 。 若 | zl | 是 2 的 整数 次 寡 且 zs 与 zl 的 正 负 


号 相同 , 则 之 emach 时 结果 不 等 于 xz 。 


于 | 和 sos 时 zl 十 zz 的 计算 结果 等 于 zi ， 二 


Tl 


s 20 s 
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尾数 中 第 1 位 是 1, 后 续 位 上 的 值 是 重复 的 1,0,0,1。 

在 上 面 的 这 些 情 形 中 ,由 于 浮 点 系统 的 有 限 精 度 使 得 准确 的 结果 不 能 被 完全 表示 ,因此 
造成 误差 。 另 外 一 类 情况 是 计算 结果 超出 了 系统 的 范围 (上 溢 或 下 溢 ) ,相应 的 实数 也 不 能 
被 精确 表示 。 由 于 非常 小 的 数 可 以 用 零 近 似 , 因 此 上 溢 往 往 是 比 下游 更 严重 的 问题 。 很 多 
实际 的 计算 机 系统 都 会 把 上 溢 作 为 严重 错误 而 中 止 程序 ,发 生 下 溢 时 则 直接 把 结果 设 为 0， 
不 影响 程序 运行 。 

我 们 用 op 表示 加 、 减 、 乘 、 除 这 样 的 实数 运算 ,而 flop 代表 在 浮 点 算术 体系 下 相同 的 运 
算 。 理 想 情况 下 ,我 们 希望 浮 点 运算 满足 

zx flop y= fl(x op y)， 《LS8 
即 浮 点 运算 的 误差 仅 发 生 在 将 准确 结果 舍 人 为 浮 点 数 这 一 步 。 实 际 上 ,只 要 操作 数 x 和 
y 在 浮 点 数 表示 范围 内 ,在 符合 IEEE 浮 点 数 标 准 的 计算 机 中 一 般 都 可 以 达到 这 种 理想 情 
况 。 在 不 至 于 发 生 混淆 的 情况 下 ,下 面 用 函数 fl(。) 表 示 一 个 数学 运算 式 在 浮 点 运算 体系 
中 的 计算 结果 。 

注意 , 式 (1.8) 反 映 的 仅仅 是 一 次 浮 点 运算 的 情况 ,实际 问题 中 往往 有 成 千 上 万 次 这 样 
的 计算 ,最 终结 果 的 误差 情况 绝 不 会 这 么 理想 。 此 外 , 浮 点 加 和 浮 点 乘 满足 交换 律 , 但 不 满 
足 结合 律 ,因此 运算 顺序 不 同 ,计算 结果 的 售 人 误差 也 不 同 。 

例 1. 13( 浮 点 运算 不 满足 结合 律 ): 假设 二 是 一 个 略 小 于 机 器 精度 的 正 浮 点 数 , 则 在 
浮 点 运算 体系 下 flC(1 十 z) 十 z) 王 1, 但 flC1 十 (z 十 z)) 过 1 。 图 

由 于 一 般 计 算 机 都 满足 式 (1.8) ,而 定理 1. 5 说 明 用 浮 点 数 表 示 实 数 的 相对 误差 上 
限 是 ea ,所 以 单 次 加 ,、 减 、 乘 、 除 运算 满足 

fl(x op y) = (x op y)(1+0O), 
其 中 ,计算 的 相对 误差 满足 16| 二 ew。 可 以 根据 这 个 公式 讨论 一 些 简 单 问 题 的 舍 和 误差。 

例 1. 14( 舍 入 误差 分 析 ) : 考虑 z(y 十 z) 的 伟人 误差 。fl(y 十 z) 王 (十 =)(1 十 2 ) ,其 中 ， 
|61 | 三 ew: 因此 ， 

fl(x(y 十 z))== (x。fl(y 十 z))(1 十 6) 其 中 ,| 0 | 入 em 
一 (z。(y 十 z)(1 十 9))(1 十 9) 
一 Z(y 十 zx)(1 十 0 十 0 十 90) 
AZ(y 十 zx)(1 十 0 十 2) 
一 Z(y 十 zx)(1 十 0)， 
其 中 ,6=6 十 6,,16| 三 2ewom (这 里 忽略 了 60: 这 样 的 高 阶 小 量 )。 因 此 ,z(y 十 zx) 的 舍 人 误 
差 限 为 2euu 。 男 

从 例 1. 14 可 以 看 出 ,这 种 误差 估计 比较 悲观 。 如 果 9 和 8 的 正 负 号 正好 相反 , 则 整 
体 误差 不 会 超过 esa。 利用 上 述 类 似 的 方法 可 以 分 析 更 复杂 的 计算 ,当然 最 后 估计 结果 中 
emach 前 的 倍数 会 更 大 (这 也 是 向 前 误差 分 析 的 缺点 )。 在 实际 计算 中 ,考虑 到 ewo 的 值 非常 
小 ,步骤 不 是 特别 多 的 计算 过 程 的 舍 和 人 误差 一 般 不 会 很 大 。 


1.3.4 抵消 现象 


除了 舍 入 , 浮 点 算术 系统 的 男 一 个 重要 问题 是 抵消 (cancellation) 。 两 个 符号 相同 、 值 相 
近 的 p 位 数 相 减 可 能 使 结果 的 有 效 数字 远 少 于 p 位 ,通常 称 这 种 现象 为 抵消 。 


。2] 。 
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例 1.15( 抵 消 现象 ): 有 两 个 十 进 制 的 6 位 精度 数 ,z 王 1.923 05X10 ,y 一 1.921 37X10， 
则 x 一 y= 二 1.68。 这 一 步 减法 计算 过 程 中 未 发 生 舍 入 ,但 它 的 结果 却 仅 有 3 位 有 效 数 字 。 国 

尽管 发 生 抵消 现象 时 的 减法 计算 是 精确 的 ,但 考虑 到 操作 数 本 身 带 有 误差 ,其 计算 结果 
必然 有 误差 。 在 这 种 情况 下 ,结果 的 有 效 数 字 位 数 很 少 意味 着 结果 的 相对 误差 可 能 非常 大 。 
换 句 话说 ,由 于 前 面 误差 的 积累 操作 数 的 后 几 位 通常 是 不 准确 的 ,而 抵消 使 得 操作 数 前 几 位 
的 信息 丢失 ,因此 计算 结果 中 仅 包 含 了 不 准确 的 操作 数 后 几 位 所 表示 的 信息 。 这 将 使 得 到 
的 结果 的 相对 误差 很 大 ,进而 使 后 续 计 算 更 加 不 准确 。 因 此 ,应 将 抵消 现象 看 成 发 生 信息 丢 
失 ,计算 数据 误差 变 大 的 信号 。 

舍 人 是 丢弃 末尾 数位 上 的 数字 ,而 抵消 丢失 的 是 高 位 数字 包含 的 信息 ,从 这 个 角度 上 
看 ,抵消 带 来 的 影响 比 舍 人 大 得 多 。 因 此 ,通常 不 用 两 个 大 数 的 差 得 到 小 数 ,因为 抵消 将 使 
得 操作 数 上 的 误差 在 结果 中 占 主导 地 位 。 下 面 的 实际 例子 进一步 解释 了 抵消 的 数值 危害 。 

例 1. 16( 计 算 e* 时 出 现 的 抵消 ): 当 z<0, 且 |z| 较 大 时 ,利用 公式 


本 下 十 
er” 二 1 十 x t+37+31+ 


截断 前 项 计算 e* ,会 发 生 严 重 的 抵消 ,使 数值 结果 误差 很 大 。 由 于 |x| 较 大 , 则 前 若干 项 
的 求 和 式 ( 部 分 和 ) 中 每 一 项 的 绝对 值 都 远大 于 准确 结果 , 当 按 自然 顺序 逐 项 累加 到 部 分 和 
上 时 ,每 次 计算 都 是 将 两 个 较 大 但 符号 相反 的 数 作 加 法 (等 价 于 符号 相同 的 数 相 减 ) ,因此 造 
成 抵消 。 随 着 舍 入 误差 的 逐渐 积累 ,将 可 能 远大 于 准确 结果 ,使 得 结果 完全 错误 。 下 面 以 
MATLAB 中 的 计算 结果 加 以 说 明 。 

假设 += 一 20, 前 项 求 和 的 计算 值 为 S, (x)。 随 着 逐 项 累加 的 过 程 ,发 现 So (z) 一 
5. 621 88X10 习 ,此 时 下 一 步 加 的 项 为 x”*”/961==7. 989 30X10-*, 它 与 Sw (zx) 的 比值 已 经 


小 于 去 emo。 根据 定理 1. 6, 后 续 的 求 和 运算 都 不 会 改变 部 分 和 的 计算 值 ,因此 。 ”的 计算 


值 为 5. 621 88X10-*( 仅 显示 6 位 有 效 数字 ), 而 e-” 的 准确 值 为 2.061 15X10 习 ,说 明 计算 
结果 完全 错误 。 

当 x 记 0 时 ,上 述 求 和 式 中 每 项 都 大 于 0, 不 会 有 抵消 现象 ,计算 是 稳定 的 。 例 如 , 当 
Z 一 20 时 ,计算 前 68 项 后 结果 将 不 再 变化 ,部 分 和 为 Ses (x) 二 4.851 65X10 ,与 准确 值 完 全 
一 样 。 因 此 ,对 于 z<<0 的 情况 ,通过 式 1/e “计算 e* 是 有 效 、 可 行 的 算法 。 国 


1.4 保证 数值 计算 的 准确 性 


本 节 先 从 减 小 舍 人 误差 的 角度 给 出 几 条 建议 ,然后 讨论 如 何 保证 计算 结果 的 准确 性 。 
1.4.1 减少 舍 入 误差 的 几 条 建议 


实际 的 数值 计算 中 , 浮 点 运算 次 数 往往 成 后 上 万 ,通过 分 析 每 一 步 计算 的 舍 人 误差 
评价 最 终结 果 的 舍 人 误差 显然 是 不 切实 际 的 ,而 且 简单 地 考虑 每 步 的 最 坏 情 况 会 使 对 
最 终结 果 的 估计 过 于 悲观。 下 面 给 出 几 条 减 小 舍 入 误差 的 建议 ,并 通过 具体 实例 加 以 
说 明 。 在 数值 算法 设计 和 编写 程序 时 ,有 意识 地 遵循 它们 ,就 有 可 能 将 舍 入 误差 的 影 
响 降 到 最 低 。 
se。 22 。 
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1. 避免 中 间 计 算 结 果 出 现 上 溢 或 下 洪 

上 洲 和 下 洲 主 要 在 做 乘 、 除 法 运算 中 出 现 。 多 个 很 大 的 数 相 乘 可 能 导致 上 溢 ,很 小 的 数 
相 乘 可 能 导致 下 溢 ,类 似 的 极端 情况 在 做 除法 运算 时 也 可 能 发 生 。 下 面 举 一 个 简单 的 例子 
说 明 如 何 避 免 中 间 结 果 上 溢 。 

例 1. 17( 避 免 中 间 结 果 上 滋 ) : 计算 分 式 


Xl 

其 中 x 比 x 小 很 多 ,1x1/zs| 记 3.403X10*。 采 用 单 精度 浮 点 数 计算 x /zs 会 发 生 上 溢 。 一 般 
情况 下 ,y 的 准确 结果 不 会 超出 上 溢 值 。 为 避免 上 溢 , 应 先 计 算 分 母 的 值 = 二 x。， zx，…。， x,, 然 
后 计算 y=x/z。 国 

在 实际 的 计算 中 ,首先 应 对 各 个 操作 数 的 大 小 有 大 体 的 了 解 , 然 后 通过 调整 计算 次 序 避 
免 可 能 出 现 的 上 洲 和 下 溢 。 

2. 避免 “大 数 吃 掉 小 数 ” 

“大 数 吃 掉 小 数 "是 一 种 形象 的 说 法 , 它 是 指 在 做 加 、 减 运算 时 , 若 两 个 操作 数 大 小 相差 
悬殊 , 较 小 数 的 信息 将 被 较 大 的 数 “淹没 "。 例 1. 13 说 明 的 就 是 这 种 情况 ,定理 1.6 也 给 出 
了 相关 的 结论 。 一 旦 “大 数 吃 掉 小 数 ” 情 况 发 生 多 了 ,必然 造成 很 大 的 计算 误差 。 下面 再 看 
一 个 例子 。 

例 1. 18( 级 数 求 和 ) : 在 浮 点 算术 系统 中 计算 

| 


pr 
分 析 会 得 到 什么 结果 。 

如 果 精 确 计算 ,这 个 无 穷 级 数 的 和 是 发 散 的 .但 在 浮 点 算术 系统 中 不 是 这 样 。 粗 略 分 
析 , 进 行 有 限 精度 计算 可 能 会 : 部 分 和 非常 大 并 发 生 上 溢 , 即 达到 OFL; @1/n 逐渐 变 小 
并 产生 下 溢 , 因 此 部 分 和 结果 不 变化 。 但 通过 实验 可 以 发 现 ,在 达到 上 述 两 种 情形 之 前 , 计 


算 结 果 就 不 再 变化 了 。 这 是 因为 ,一 旦 增加 量 1/n 与 部 分 和 3 了 的 值 相差 悬殊 ,它们 的 和 


就 停止 变化 了 ,因此 得 到 的 计算 结果 是 有 限 值 。 根 据 定理 1.6 可 粗略 估计 何 时 发 生 上 述 现 
象 , 当 结果 值 停止 变化 时 ， 
< ee 和 二 图 
因此 ,在 浮 点 数 运算 时 ,要 尽量 避免 对 数量 级 相差 悬殊 的 两 个 数 进行 加 减 运 算 。 解 决 此 
问题 的 办 法 主要 是 调整 运算 次 序 ,避免 发 生 “ 大 数 吃 掉 小 数 "情况 。 
3. 避免 符号 相同 的 两 相近 数 相 减 
1.3.4 节 详细 介绍 了 抵消 现象 及 其 带 来 的 数值 危害 ,为 防止 出 现 抵 消 现象 ,应 尽量 避免 
符号 相同 的 两 相近 数 相 减 。 下 面 再 举 两 个 例子 。 
例 1. 19( 二 次 方程 求 根 公 式 ) : 一 元 二 次 方程 
ar2? 十 br 十 c 一 0 
的 两 个 根 可 由 求 根 公式 
二 "三 是 二 Vb — 4ac 
2a 
总 全 治 
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给 出 。 如 果 4ac 相对 于 6? 很 小 , 则 一 5 十 V 包 一 4ac 会 发 生 抵消 现象 (不 妨 设 "之 0) ,此 时 可 采 
用 公式 
ws 
一 0 一 vV 好 一 4ac 
计算 其 中 一 个 根 , 避 免 了 一 2 十 VF 一 4ac 的 抵消 现象 。 若 4 二 0, 则 一 5 一 VF 一 4ac 会 发 生 抵消 
现象 ,也 可 通过 类 似 的 改造 公式 加 以 避免 。 例 如 ,用 十 进 制 计算 二 次 方程 的 根 , 取 4 位 有 效 数 
字 , 系 数 a 二 0.050 10,6 二 一 98.78,c 二 5.015。 为 了 比较 , 先 给 出 具有 10 位 有 效 数字 的 精确 根 
1971.605916 和 0.050770693 87。 
用 4 位 有 效 数 字 运 算计 算 判 别 式 ,得 
b?—4ac 一 9757 一 1.005 = 9756, 


Er 


所 以 
Vb 一 4ac = 98.77， 
这 样 , 由 求 根 公式 得 到 的 两 个 根 为 


98. 748 十 98.77 _ 
一 0160 = 1972 及 0. 0998 。 


这 个 结果 中 ,第 一 个 根 的 4 位 数字 都 是 正确 的 ,但 第 二 个 根 完全 错 了 (误差 约 为 100%)。 第 
二 个 根 出 错 的 原因 是 发 生 了 抵消 ,使 得 减法 的 结果 只 含 合 入 误差 信息 。 用 另 一 个 求 根 公 式 
重新 算 第 二 个 根 : 
10. 03 
98.78 十 98.77 


它 的 4 位 数字 都 是 准确 的 。 国 
此 外 ,二 次 方程 求 根 公式 中 平方 根 内 的 抵消 是 不 容易 避免 的 ,此 时 只 能 采用 更 高 的 计算 


= 0.05077， 


精度 。 
例 1.20( 标 准 差 的 计算 ): 有 限 实数 序列 zx;(i 二 1,2,…,n) 的 均值 由 
= Yq . 
元 一 EP 
定义 ,抽样 标准 差 由 
1/2 
= [| 
定义 。 直 接 利 用 以 上 公式 计算 标准 差 需要 遍历 数据 两 次 ,一 次 计算 出 均值 , 男 一 次 计算 出 标 
准 差 。 为 了 减少 遍历 数据 次 数 , 提 高 计算 效率 ,可 用 等 价 的 下 述 公 式 计算 标 准 差 : 
1 和 a 1/2 
o= (| 
采用 该 公式 ,对 离散 数据 只 遍历 一 次 就 可 以 计算 出 数据 的 和 以 及 平方 和 ,进而 算出 标准 差 。 
然而 ,在 采用 遍历 一 次 的 公式 时 ,发 生 抵消 产生 的 危害 往往 比 原始 公式 发 生 抵消 的 危害 大 ， 
因为 前 者 (只 遍历 一 次 的 公式 ) 相 减 的 两 个 量 一 般 比 较 大 ,而 且 很 相近 ,从 而 使 更 多 的 有 效 数 
字 丢 失 ,使 得 结果 的 相对 误差 较 大 。 国 
4. 注意 简化 步骤 ,减少 运算 次 数 
求解 一 个 问题 通常 有 多 种 数学 方法 和 具体 算法 ,如 果 其 中 某 种 算法 能 减少 计算 次 数 , 不 
光环 语 
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但 可 节省 计算 机 的 计算 时 间 ,而 且 通 常 也 能 减少 舍 人 误差 的 影响 。 追 求 较 小 的 算法 计算 复 
杂 度 实际 上 也 是 数值 计算 的 重要 研究 内 容 。 下 面 举 一 个 例子 。 
例 1.21( 多 项 式 函 数 求 值 的 算法 ) : 计算 多 项 式 
P,(z) 一 az 十 az 十 … 十 ai 十 an 


的 值 , 若 直接 计算 wx"-' 再 逐 项 相 加 ,一 共 需 要 7 一 二 次 乘法 和 次 加 法 。 一 种 
简单 的 改进 是 采用 下 述 算法 。 


算法 1.1: 计算 多 项 式 P, (zx) 的 算法 
输入 : xz, 多 项 式 系数 a;(i 二 0,1,2,…,n); 输出 : P, (x). 
ba 
For i 一 1,2，…，n 
b :一 ZO 十 di 
End 
有 PC 一 久 


在 上 述 算法 描述 中 ,* :二 "表示 赋值 操作 。 这 个 改进 算法 只 要 nn 次 乘法 和 次 加 法 即 
可 算出 P,(z) 的 值 。 此 算法 也 称 为 秦 九 刘 算 法 ,最 早 由 我 国 宋 代数 学 家 秦 九 韶 于 1247 年 
提出 0。 图 


1.4.2 影响 结果 准确 性 的 主要 因素 


首先 以 函数 求 值 问题 为 例 回顾 问题 的 敏感 性 .算法 的 稳定 性 和 计算 误差 等 主要 概念 , 然 
后 总 结 影响 结果 准确 性 的 主要 因素 。 

考虑 计算 函数 值 f(x) 的 问题 ,输入 数据 和 结果 的 准确 值 的 对 应 关系 为 

T= fr) 

由 于 初始 数据 的 误差 ,实际 计算 时 使 用 的 输入 为 ,车 假设 计算 过 程 完全 精确 , 则 得 到 函数 
值 为 f(z) , 它 与 准确 值 f(x) 的 差别 反映 了 问题 的 敏感 性 ,通过 条 件数 的 概念 定量 刻画 。 

同样 是 这 个 问题 ,再 进一步 考虑 实际 计算 采用 的 算法 及 计算 过 程 中 的 误差 。 假 设 有 两 
个 算法 ,分 别 得 到 如 下 结果 : 


作法 下 


算法 站 亲 Fa 
结果 了 (和 了 (3) 的 差别 是 由 于 算法 的 不 同 造成 的 ,而 它们 误差 的 大 小 反映 了 算法 稳定 性 
的 不 同 。 若 初始 数据 误差 较 小 且 问题 不 敏感 ,采用 稳定 的 算法 得 出 的 结果 一 定 比较 准确 。 
由 于 
fC2)— f(z) = [C72)— fa +L — f(x)], 
结果 误差 为 计算 误差 与 数据 传递 误差 之 和 ,前 者 又 包括 截断 误差 和 舍 和 人 误差 两 种 。 截 断 误 


@ 该 算法 在 国外 称 为 Hernor 算 法 ,1819 年 才 被 提出 。 
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差 由 方法 .公式 的 近似 引起 , 需 结 合 具体 问 题 进 行 理论 分 析 ; 舍 人 误差 形成 的 原因 包括 有 限 
位 的 初始 数据 、 各 个 计算 步 的 顺序 ,以 及 每 步 加 \、 减 、 乘 、 除 运算 误差 的 累积 。 对 于 舍 信 误差 ， 
很 难 做 有 效 的 定量 估计 ,只 能 做 一 些 定性 分 析 。 

要 保证 一 个 数值 计算 问题 结果 的 准确 性 ,通常 需 按 以 下 方面 依次 考虑 。 

(1) 病态 性 ,是 待 求 解数 学 问题 的 性 质 , 与 具体 算法 无 关 , 最 先 考虑 。 

(2) 稳定 性 ,是 数值 算法 的 性 质 ,应 选择 稳定 性 好 的 算法 ,减少 计算 中 误差 的 扩大 。 

(3) 通过 定性 分 析 控 制 舍 入 误差 ,遵循 减 小 舍 和 误差 的 几 条 建议 , 若 可 能 ,尽量 采用 位 
数 较 多 的 双 精 度 浮 点 数 。 

最 后 ,通过 表 1-7 总 结 计算 结果 中 的 各 种 误差 分 量 ,以 及 对 其 评估 和 减 小 的 措施 。 


表 1-7 数值 计算 的 各 种 误差 与 减 小 误差 的 措施 


总 误差 
评估 方法 与 措施 计算 误差 
数据 传递 误差 
截断 误差 合 人 误差 
仙人 向 评 信 大 小 | 对 不 同类 型 问题 进行 | 对 菜 此 问题 采用 向 后 误差 分 析 等 方 | 问题 敏感 性 的 概念 ,条 
? | 理论 分 析 法 ,很 难 定量 分 析 件数 
ey 选 稳定 的 算法 ; 减 小 含 人 误差 的 建 | 变换 问题 形式 ,改善 区 
如何 天 小 展 关 7 | 站 法 选择 议 ; 采 用 双 精 度 或 更 高 精度 浮 点 数 。 | 感性 


评 述 


本 书 主题 在 传统 上 称 为 “数值 分 析 ”, 但 它 的 含义 随 着 计算 机 的 发 展 和 应 用 已 大 大 偏离 
了 从 字面 理解 的 意思 。 英 国 牛 津 大 学 教授 、Fox 奖 得 主 L. N. Trefethen 写 过 一 篇 小 品 文 
The definition of numerical analysis (数值 分 析 的 定义 )?, 其 中 给 出 如 下 定义 : 

数值 分 析 是 研究 连续 数学 问题 的 算法 的 学 科 领 域 。 

这 个 定义 突出 了 算法 在 这 个 领域 的 关键 地 位 。 

数值 计算 领域 的 学 术 期 刊 非常 多 。 例 如 ,前 面 曾 提 到 的 IEEE 的 Computing in Science 
& Engineering .ACM® 的 ACM Transactions on Mathematical Software ,其 中 SIAM 出 
版 的 一 系列 期 刊 也 值得 关注 。SIAM 是 美国 工业 与 应 用 数学 学 会 (Society for Industrial 
and Applied Mathematics) 的 名 称 缩写 ,该 学 会 是 应 用 数学 .数值 计算 领域 的 权威 学 术 组 织 ， 
出 版 了 大 量 有 关 书 籍 和 期 刊 。 

关于 20 世纪 十 大 算法 的 介绍 , 见 Computing in Science & Engineering 2000 年 第 1 期 
的 一 组 文章 ,以 及 SIAM News (http://www. siam. org/news/) 的 评论 文章 : 

。 Computing in Science & Engineering ,Vol.2,No.1.2000. 

。 B.A. Cipra,“ The best of the 20th century: Editors name top 10 algorithms,” 

SIAM News ,Vol. 33, No. 4,2000. 


@ 该 文 发 表 于 1992 年 11 月 的 SIAM News, 以 及 Trefethen 撰写 的 书 Numerical Linear Algebra。 在 Trefethen 的 
网 站 也 有 全 文 : http://www. comlab. ox. ac. uk/nick. trefethen/home. html。 
加 Association for Computing Machinery, 美国 计算 机 协会 ,计算 机 领域 重要 的 学 术 组 织 之 一 。 
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关于 舍 人 误差 分 析 的 经 典 著作 为 
J. H. Wilkinson, Rounding Errors in Algebraic Processes, Englewood Cliffs, NJ: 
Prentice Hall,1963. 
其 中 也 包括 大 量 著名 的 “计算 反例 ”, 说 明 一 些 算法 的 不 稳定 性 。 这 方面 较 新 的 专著 有 
。° N.J.Higham, Accuracy and Stability of Numerical Algorithms, SIAM 
Press,2002. 
。 M. Overton, Numerical Computing with IEEE Floating Point Arithmetic, SIAM 
Press,2001. 
关于 数学 软件 ,除了 MATLAB, 目 前 比较 流行 ,也 比较 成 熟 的 还 有 Mathematica 和 
Maple。 与 其 他 软件 相 比 ,MATLAB 在 数值 计算 方面 功能 更 好 一 些 。 在 MATLAB 中 , 默 
认 的 变量 类 型 是 双 精 度 浮 点 数 ,但 可 以 使 用 single 和 double 命令 将 变量 的 值 在 单 精 度 浮 点 
数 和 双 精 度 浮 点 数 之 间 转 换 。 通 过 命令 eps ,realmax realmin 可 方便 地 得 到 机 器 精度 、 上 游 
值 \ 下 溢 值 等 浮 点 数 系统 的 重要 参数 (针对 单 精度 和 双 精 度 两 种 情况 )。 如 果 安 装 了 符号 数 
学 工具 箱 (Symbolic Math Toolbox) ,还 可 以 使 用 vpa 命令 设置 任意 的 计算 精度 进行 与 误差 
有 关 的 实验 。 关 于 它们 的 更 多 介绍 ,请 看 MATLAB 的 联机 帮助 。 
【本 章 知 识 点 】 误差 与 有 效 数 字 ; 正 确 的 有 效 数字 位 数 与 相对 误差 的 关系 ; 误差 的 分 
类 ;数据 传递 误差 的 估算 ;问题 的 敏感 性 ;条 件数 ;算法 的 稳定 性 ; 浮 点 数 系 统 的 表示 及 其 主 
要 参数 ;机 器 精度 ;IEEE 单 精度 、 双 精度 浮 点 数 ; 抵 消 现 象 ;“ 大 数 吃 掉 小 数 ” 现 象 ; 减 小 舍 入 
误差 的 建议 。 


算法 背后 的 历史 : 浮 点 运算 的 先驱 一 一 威廉 卡 享 


威廉 。 卡 享 (William M. Kahan, 见 图 1-6)1933 年 6 月 5 日 生 于 加 拿 大 多 伦 多 。 他 大 
学 就 读 于 著名 的 多 伦 多 大 学 ,分 别 于 1954 年 .1956 年 和 1958 年 在 
那里 获得 数学 学 士 、 硕 士 和 博士 学 位 。 学 成 以 后 , 卡 享 既 在 大 学 从 
事 过 教学 和 科研 ,又 在 一 些 著 名 的 计算 机 整 机 厂 和 元 器 件 厂 从 事 过 
重要 的 技术 工作 和 产品 开发 工作 。 其 中 包括 : 1960 一 1968 年 在 多 
伦 多 大 学 任教 ,1972 一 1973 年 在 IBM 公司 工作 ,1974 一 1982 年 任 
HP 公司 顾问 ,1976 一 1983 年 在 Intel 公司 工作 ,1983 一 1986 年 重 返 
IBM 公司 ,1986 年 以 后 在 加 州 大 学 伯克利 分 校 任教 ,同时 在 美国 国 
家 半导体 公司 兼职 。 这 些 经 历 使 他 积累 了 丰富 的 工程 实践 经 验 ,并 
为 计算 机 科学 技术 ,尤其 是 在 计算 机 运算 技术 的 发 展 方面 做 出 了 重 
要 贡献 。 由 于 卡 享 对 数值 分 析 的 基础 性 贡献 ,他 获得 了 1989 年 图 
灵 奖 。 他 还 于 1994 年 当选 ACM Fellow,2000 年 获 IEEE“Emanuel R. Piore” 奖 ,2003 年 当 
选美 国 艺术 与 科学 院 院 士 ,2005 年 当选 美国 工程 院外 籍 院士 。 

卡 享 的 主要 贡献 

大 家 知道 ,计算 机 中 的 “ 数 ”" 有 “定点 数 ” 和 “浮上 点 数 ” 之 分 ,“ 定 点 数 ” 的 运算 部 件 的 设计 与 
实现 比较 容易 ,而 “ 浮 点 数 ” 的 运算 部 件 的 设计 与 实现 却 复 杂 得 多 ,困难 得 多 。 因 此 , 较 早 的 
计算 机 许多 都 不 配备 浮 点 运算 部 件 。 那 么 ,需要 浮 点 运算 的 时 候 怎么 办 呢 ? 历史 上 曾经 有 

名 没 党 . 乱 


图 1-6 威廉 . 卡 享 
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过 两 种 解决 方法 : 第 一 种 方法 是 利用 浮 点 运算 子 程序 在 定点 运算 部 件 上 实现 浮 点 运算 。 最 
早 的 浮 点 运算 子 程序 是 由 1970 年 图 灵 奖 获得 者 威 尔 金 森 (J. H. Wilkinson)9 在 图 灵 
(Turing) 所 设计 的 ACE 计算 机 上 实现 的 ;第 二 种 方法 是 冯 。 诺 依 曼 (von Neumann) 提 出 来 
的 , 即 对 定点 数 附 加 “比例 因子 ”, 使 之 成 为 实际 上 的 浮 点 数 。 这 种 方法 固然 巧妙 ,但 比例 因 
子 的 设 定 成 了 令 程 序 员 伤 脑筋 的 事 ,因为 有 时 候 运 算 的 中 间 结 果 和 最 后 结果 的 范围 很 难 确 
切 估 计 , 比 例 因子 选 小 了 ,造成 运算 溢出 ;比例 因子 选 大 了 ,影响 运算 精度 。 后 来 ,IBM 公司 
的 本 Backus@ 和 H. Herrick 一 起 开发 出 了 一 个 称 为 Speedcoding 的 软件 ,能 根据 问题 自动 
设 定 和 调整 比例 因子 ,成 功 解决 了 这 个 问题 。 这 些 办 法 都 是 通过 软件 实现 浮 点 运算 的 ,虽然 
可 行 , 但 在 运行 效率 上 和 精度 上 都 有 很 大 限制 ,也 难以 满足 某 些 应 用 的 需要 。 正 是 卡 享 ,在 
Intel 公司 工作 期 间 , 主 持 设计 与 开发 了 8087 芯片 ,成 功 实现 了 高 速 、 高 效 的 浮 点 运算 硬件 。 
很 长 一 段 时 间 以 来 , 装 有 80x86 系列 CPU 的 计算 机 都 需要 配置 8087 这 个 数学 协 处 理 器 , 才 
能 完成 科学 与 工程 方面 的 计算 。 

由 于 有 这 样 的 背景 ,IEEE 在 制定 浮 点 运算 标准 的 时 候 ,很 自然 地 任命 卡 享 为 这 个 课题 
的 负责 人 。 在 卡 享 的 主持 下 ,二 进 制 浮 点 运算 标准 IEEE 754 以 及 与 基数 无 关 浮 点 运算 标 
准 IEEE 854 相继 出 台 。1985 年 ,IEEE 标准 委员 会 和 美国 国家 标准 局 共同 采纳 了 IEEE 
754 标准 , 它 目前 已 被 绝 大 多 数 的 计算 机 浮 点 算术 体系 所 遵循 。 

除 以 上 主要 贡献 外 , 卡 享 在 科学 、 工 程 . 财 会 计算 的 数值 算法 的 设计 、 误 差分 析 、 验 证 与 
自动 诊断 等 方面 也 有 卓越 的 贡献 ,是 该 领域 中 世界 公认 的 权威 之 一 , 曾 发 表 过 许多 有 影响 的 
论文 。 尤 其 是 在 算 阵 计 算 方 面 , 卡 享 享 有 极 高 的 学 术 造 话 。 目 前 , 卡 享 为 加 州 大 学 伯克利 分 
校 EECS 系 的 荣誉 退休 教授 ,下 面 是 他 的 互联 网 主页 地 址 : 

http://www. eecs. berkeley. edu/Faculty/ Homepages/kahan. html 


练 习 题 


注 : 本 章 练习 题 1.4~7 的 目的 是 为 了 掌握 误差 限 ,以 及 误差 限 传播 的 规律 ,因此 在 求 
解 它们 时 均 假 设 无 法 得 到 准确 解 。 

1. 计算 球体 积 要 使 相对 误差 限 为 1%, 问 度量 半径 R 时 允许 的 相对 误差 限 是 多 少 ? 

2. 考虑 正弦 函数 sinz 的 求 值 , 特 别 是 数据 传递 误差 , 即 自 变量 z 发 生 扰 动 h 时 函数 值 
的 误差 (利用 导 函 数 估计 误差 ) 。 

(1) 估计 sinz 的 绝对 误差 。 

(2) 估计 sinz 的 相对 误差 。 

(3) 估计 这 个 问题 的 条 件数 。 

(4) 自 变量 z 为 何 值 时 ,这 个 问题 高 度 敏感 ? 

3. (1) 采用 4 位 有 效 数 字 的 十 进 制 运算 ( 即 每 步 计算 结果 只 能 保留 4 位 十 进 制 有 效 数 
字 ) 及 例 1. 1 给 出 的 公式 计算 地 球 表面 积 , 取 ”一 6370km。 

(2) 如 果 半 径 增加 1km, 用 同样 的 公式 和 精度 计算 表面 积 ,两 者 之 差 是 多 少 ? 


@ 见 第 3 章 “ 算 法 背后 的 历史 ”。 
四 ”他 领导 开发 的 FORTRAN 最 优 编译 器 算法 被 选 为 *20 世纪 十 大 算法 ”, 他 也 是 1977 年 图 灵 奖 获得 者 。 
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(3) 由 于 dA/dr 二 8xr, 所 以 表面 积 的 变化 近似 为 8xrh ,其 中 是 半径 的 变化 。 用 这 个 
公式 并 仍 采用 4 位 有 效 数字 的 十 进 制 计算 ,计算 半径 增加 1km 时 表面 积 的 差 。 用 这 个 近似 
公式 求 得 的 值 与 (2) 中 用 “精确 ”公式 得 到 的 值 有 什么 差别 ? 

(4) 用 更 高 的 精度 ,例如 6 位 有 效 数 字 , 重 复 前 面 的 计算 ,确定 两 个 答案 哪个 更 精确 。 

(5) 解释 (1) 一 (4) 得 到 的 结果 。 

4. 设 Yo=28, 按 递 推 公式 


= 三 ji 
Y= Ym — To00 V83, (n=1,2,3,.) 


计算 到 Yio。。 若 取 MV783 守 27.982( 保 留 5 位 有 效 数字 ) ,试问 计算 Yiw 将 有 多 大 误差 ? 
5. 正方 形 的 边 长 大 约 为 100cm, 问 测量 时 允许 多 大 的 误差 ,才能 使 其 面积 误差 不 超 
过 lcm?。 
6. 序列 {y,) 满 足 递 推 关 系 
yr = ly 一 1] (n= 1,2,3,.) 
车 yo 二 V2 宅 1. 41( 保 留 3 位 有 效 数字 ) ,计算 到 ywo 时 误差 有 多 大 ? 这 个 计算 过 程 稳定 吗 ? 
7. 计算 f= (V2 一 105, 取 Y2 守 1.4, 利 用 下 列 等 式 计 算 , 哪 一 个 得 到 的 结果 最 好 ? 
1 5 1 
Br A (3 十 2V2)3“ 
8. 考虑 f(z,y) 二 x 一 y 定义 的 函数 和: Rr 一 R 。 用 |zx| 十 |y| 度 量 二 元 值 (x,y) 的 大 
小 ,并 假定 |x| 十 |y| 守 1,x 一 ye(e 为 远 小 于 1 的 量 ) ,在 考虑 x、y 分 别 发 生 扰动 的 情况 下 ， 
证 明 均 有 条 件数 cond(/) 守 1/e。 将 这 个 结论 与 减法 的 敏感 性 以 及 抵消 现象 联系 起 来 ,说 明 
了 什么 ? 
9. (1) 证 明 在 规范 化 浮 点 数 系统 中 (如 式 (1.6)), 上 溢 值 OFL 为 
OFL = poH (1 一 82)。 
(2) 若 采 用 次 规范 化 机 制 , 问 下 滋 值 UFL 的 计算 公式 是 什么 ? 
10. 证 明定 理 1.6。 
11. 十 进 制 小 数 0. 1 对 应 的 IEEE 单 精度 浮 点 数 二 进 制 表 示 是 什么 ?分 别 采用 截断 舍 
入 和 最 近 舍 人 ,对 它 保留 4 位 二 进 制 有 效 数 字 的 结果 是 什么 ? 


上 机 题 


1. 用 MATLAB 编程 实现 例 1. 4, 绘 出 图 1-2, 体 会 两 种 误差 对 结果 的 不 同 影响 。 
2. 假定 用 间距 二 (6 一 a)/n 在 区 间 [e ,四 上 产生 2 十 1 个 等 距 点 。 

(1) 在 浮 点 运算 中 ,下 列 方法 哪个 更 好 ? 为 什么 ? 

©@ zo=a,zi=z 1th,k=1,2,.,n。 

© z=atkh,k=0,1,2,. ,no 

(2) 编写 程序 ,实现 上 述 两 种 方法 。 设 4 二 0,6 二 1, 举 出 两 种 方法 有 差别 的 例子 。 
3. 编程 观察 无 穷 级 数 


99 一 70V2。 


yl 


”=1 7 


7 


数值 分 析 与 算法 (第 3 版 ) 


的 求 和 计算 。 

(1) 采用 IEEE 单 精度 浮 点 数 ,观察 当 ? 为 何 值 时 , 求 和 结果 不 再 变化 ,将 它 与 理论 分 
析 的 结论 进行 比较 ( 注 : 在 MATLAB 中 可 用 single 命令 将 变量 转 成 单 精度 浮 点 数 ) 。 

(2) 用 IEEE 双 精 度 浮 点 数 计算 (1) 中 前 项 的 和 ,评估 IEEE 单 精 度 浮 点 数 计算 结果 
的 误差 。 

(3) 如 果 采 用 IEEE 双 精 度 浮 点 数 , 估 计 当 为 何 值 时 求 和 结果 不 再 变化 ,这 在 当前 做 
实验 的 计算 机 上 大 概 需 要 多 长 的 计算 时 间 ? 


4. 编写 程序, 按 e= jim| 1 十 十】 计算 常数 。, 即 自然 对 数 的 底 。 具 体 地 ,对 一 10+ Ch 一 


1,2,…,20 ) ,计算 (1 十 1/n)"。 将 结果 与 MATLAB 语句 exp(1) 比 较 , 确 定 近似 值 的 误差 。 
误差 是 否 随 nn 的 增加 而 降低 ?用 MATLAB 画 出 误差 的 变化 趋势 曲线 ,并 解释 。 
5. 编写 程序 ,用 无 穷 级 数 


一 本 到 ws 
ee 二 1 十 Xx t+37+31+ 


计算 指数 函数 @*。 

(1) 若 按 自然 顺序 求 和 ,应 用 什么 判 停 标准 ? 

(2) 用 xz= 士 1, 士 5, 士 10, 士 15, 士 20 测试 程序 ,将 MATLAB 内 部 函数 exp(z) 的 结果 
作为 准确 值 , 评 估 程 序 计 算 结果 的 误差 。 

(3) 当 >z<0 时 ,能 否 用 此 程序 得 到 准确 的 结果 ? 若 不 能 ,设法 改进 程序 。 

(4) 当 x 二 0 时 ,能 否 通过 级 数 项 的 重新 排列 或 分 组 得 到 较 准确 的 结果 ? 


i 
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线性 方程 是 方程 式 中 仅 包 含 未 知 量 的 一 次 方 项 和 常数 项 的 方程 , 除 此 之 外 的 方程 都 是 
非 线性 方程 (nonlinear equation) 。 例 如 ,大 家 熟知 的 “一 元 二 次 方程 ?就 是 一 个 非 线性 方程 。 
多 元 线性 方程 组 的 求解 是 数值 计算 领域 的 一 个 重要 问题 ,后 续 几 章 将 专门 讨论 。 本 章 介绍 
求解 非 线性 方程 的 数值 方法 ,主要 针对 实数 域 , 重 点 是 单个 非 线 性 方程 的 求 根 问题 。 


ZT 


2.1 引 


2.1.1 非 线 性 方程 的 解 


要 求解 的 单 变 量 非 线 性 方程 为 
f(x) = 0, (2 
其 中 ,函数 /; 及 一 R 。 一 般 而 言 , 非 线性 方程 的 解 的 存在 性 和 个 数 是 很 难 确定 的 , 它 可 能 无 
解 ,也 可 能 有 一 个 或 多 个 解 。 

例 2.1( 非 线性 方程 的 解 ): 分 析 下 列 非 线 性 方程 的 解 是 否 存在 以 及 解 的 个 数 。 

(1) e* 十 1==0, 此 方程 无 解 。 

(2) e 一 zx 一 0, 此 方程 有 一 个 解 。 

(3) xz 一 4sinz 一 0, 此 方程 有 两 个 解 。 

(4) zs 一 6z2? 十 5z 一 0, 此 方程 有 3 个 解 。 

(5) cosz 一 0, 此 方程 有 无 穷 多 个 解 。 el 

在 实际 问题 中 ,往往 要 求 的 是 自 变 量 在 一 定 范围 内 的 解 ,如 限定 xE[a,b]。 函 数 
了 一般 为 连续 函数 ,可 记 为 /(z)ECLa,bj,CLa,bj] 表 示 区 间 [La,b] 上 所 有 连续 实 函数 的 集 
合 。 假 设 在 区 间 [a, 疏 上 方程 (2. 1) 的 根 为 zx” ,也 称 x* 为 函数 f(z) 的 零点 。 方 程 的 根 可 
能 不 唯一 ,而 且 同 一 个 根 z* 也 可 能 是 方程 (2. 1) 的 多 重 根 。 

定义 2.1: 对 光滑 函数 了 ,车 f(z* )=f (zx* )=…==f"*? 了 (zx* )=0,m 之 1, 但 f(x* ) 天 0, 则 
称 zx* 为 方程 (2.1) 的 mm 重 根 。 若 m==1, 即 f(x* )==0, 了 (x* ) 关 0 时 , 称 xz* 为 单 根 。 

对 于 多 项 式 函 数 f(x), 若 x* 为 m 重 根 , 则 f(x) 可 因 式 分 解 为 

f(z) = (zx—zx')"g(7), 
其 中 ,g(x) 也 是 多 项 式 函 数 , 且 g(x* ) 关 0。 很 容易 验证 ,f(x* )==f (x) 二 … 二 fw? (zx*)==0， 
但 fw (x* ) 取 0, 即 多 项 式 方程 重 根 的 概念 与 定义 2. 1 是 一 致 的 。 对 一 般 的 函数 f,x* 是 
方程 (2. 1) 的 重 根 的 几何 含义 是 ,函数 曲线 在 x* 处 的 斜率 为 0, 且 在 该 点 处 与 x 轴 相 交 。 

非 线 性 方程 的 一 个 特例 是 n 次 多 项 式 方程 (n 宇 ?2) ,根据 代数 基本 定理 可 知 ,n 次 方程 在 
复数 域 上 有 个 根 (m 重 根 计 为 m 个 根 )。 当 n= 二 1.2 时 ,方程 的 求解 方法 是 大 家 熟知 的 。 
当 n=3,4 时 ,虽然 也 有 求 根 公 式 , 但 已 经 很 复杂 ,实际 计算 时 并 不 一 定 适用 。 当 n 宇 5 时 ,不 
存在 一 般 的 求 根 公式 ,只 能 借助 数值 求解 方法 求 根 。 
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2.1.2 问题 的 敏感 性 


根据 问题 敏感 性 的 定义 ,这 里 需要 考虑 输入 数据 的 扰动 对 方程 的 根 有 多 大 影响 。 
要 分 析 敏 感性 ,首先 应 假设 问题 中 的 数据 如 何 扰动 ,一 种 易于 分 析 的 情况 是 将 非 线 性 
方程 写成 

f(z)=y 

的 形式 ,然后 讨论 y 在 0 值 附 近 的 扰动 造成 的 问题 敏感 性 。 此 时 , 求 根 问题 变 成 了 函数 求 值 
问题 y= f(x) 的 反问 题 。 若 函数 值 F(z) 对 输入 参数 工 很 不 敏感 (z 在 解 x* 附近 变化 ), 则 
求 根 问题 将 很 敏感 ;反之 , 若 函 数值 对 参数 值 很 敏感 , 求 根 则 不 敏感 。 这 两 种 情况 如 图 2-1 
所 示 。 

下 面 分 析 y 发 生 扰动 Ay 引起 的 方程 的 根 的 扰动 Ar。 由 于 当 z=z 时,y 二 0, 因 此 使 
用 绝对 (而 不 是 相对 ) 条 件数 

1 
We 
条 件数 的 大 小 反映 方程 求 根 问题 ( 式 2. 1) 的 敏感 程度 , 若 | f(x* ) | 很 小 , 则 问题 很 敏感 ,是 
一 个 病态 问题 ;车 | f(x* ) | 很 大 , 则 问题 不 敏感 。 一 种 特殊 情况 是 (x* ) 王 0, 即 z* 为 重 
根 , 此 时 求 根 问题 很 敏感 , 原 问 题 的 微小 扰动 将 造成 很 大 的 解 误差 ,甚至 改变 解 的 存在 性 和 
唯一 性 (如 图 2-2 所 示 ,问题 的 扰动 可 能 使 解 不 存在 ) 。 


_ |Az|、 
cond 一 | 息 |> 


3 -AAAj 
X 0 -2 3 
(a) 不 敏感 (b) 敏感 
图 2-1 方程 求 根 问题 的 敏感 性 图 2-2 了"'(z*)==0 时 , 求 根 问题 很 敏感 


对 于 敏感 的 非 线性 方程 求 根 问题 , F(z)s:0 并 不 意味 着 x 很 接近 zx” ,后 面 讨论 迭代 解 
法 的 判 停 准则 时 应 注意 这 一 点 。 


2.2 二 分 法 


数值 求解 非 线性 方程 通常 是 一 个 迭代 的 过 程 , 欠 代 开始 之 前 要 先 有 一 个 初始 的 近似 解 ， 
然后 随 着 迭代 步 数 的 增多 ,近似 解 越 来 越 接近 准确 解 , 当 达到 一 定 要 求 时 即 停止 计算 过 程 。 
本 节 先 介绍 一 种 最 基本 的 方法 一 一 二 分 法 (interval bisection method) 。 


2.2.1 方法 原理 


首先 介绍 有 根 区间 的 概念 。 有 根 区 间 就 是 包含 至 少 一 个 根 的 区 间 , 它 限定 了 根 存在 的 
范围 。 如 果 能 计算 出 一 个 非常 小 的 有 根 区 间 ,那么 区 间 的 中 点 就 是 一 个 很 好 的 近似 解 。 下 
面 的 定理 给 出 了 有 根 区 间 的 充分 条 件 。 

» 32 = 
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定理 2.1: 若 f(x)ECLa.0j, 且 f(a)f(0) 二 0, 则 区 间 (a.65) 至 少 有 一 个 实 根 。 
这 里 省 略 定 理 证 明 过 程 ,只 给 出 图 2-3 作为 一 个 解释 。 
定理 2. 1 给 出 了 一 种 获得 有 根 区 间 的 方法 , 即 通 过 

看 f(a)、f(6b) 两 个 值 是 否 符号 相反 判断 (a,5) 是 否 为 有 

根 区 间 。 实 际 操作 时 ,可 在 一 个 较 大 的 范围 内 取 多 个 点 

计算 f(x) 函 数值 ,从 而 得 到 一 个 或 多 个 有 根 区 间 。 另 外 


Jr 
fla>0 


LA 


应 注意 ,根据 定理 2. 1 得 到 的 有 根 区 间 内 不 一 定 只 有 一 se 
个 根 , 这 从 图 2-3 也 可 以 看 出 。 图 2-3 车 Fa)7(O 一 0, 则 区 间 
二 分 法 的 思想 很 简单 ,就 是 每 次 将 有 根 区 间 一 分 (机 至 少 有 一 不 实 根 


为 二 ,得 到 长 度 逐 次 减 半 的 区 间 序 列 {(as 和) 六 则 区 
间 中 点 zx 一 (wx 十 名)/2 就 是 第 & 步 迭代 的 近似 解 ,具体 算法 如 下 。 


算法 2.1: 二 分 法 
输入 : a,b, 函 数 f(x) ; 输出 : z. 
While (0 一 二 es do 

工 : 一 4 十 (0 一 4)/2; 

If sign(f(x))=sign( f(a)) then 


[全 


End 
:一 4 十 (0 一 a)/2 


在 算法 2. 1 中 ,signO 〇 表示 取 符号 的 函数 ,而 二 分 迭代 结束 的 条 件 为 有 根 区 间 (a,6) 的 长 度 
小 于 某 个 闵 值 <。 注 意 ,这 里 忽略 了 f(x) 或 者 f(a) 等 于 0 的 情况 ,如 果 出 现 这 种 情况 ,算法 可 
成 功 结束 . 感 兴趣 的 读者 可 以 对 算法 2. 1 加 以 完善 , 写 出 更 全 面 . 更 实用 的 二 分 法 算法 程序 。 
假设 二 分 法 得 到 的 有 根 区 间 序 列 为 {(ai ,如 ),& 王 0,1,2.…}, 若 取 解 x 二 (a 十 b4)/2， 
则 误差 为 
z=T" |=—0)/2= (=a)/2, k=0,1,2, C2. 2 
根据 式 (2. natn 也 可 以 事先 估算 出 二 分 迭代 执行 的 次 数 以 及 相应 
的 计算 量 。 这 里 ,每 步 迭 代 的 计算 量 主要 是 计算 一 次 函数 f(x)。 
例 2.2( 二 分 法 ) : 求 方程 


f(z)=zx—z—2=0 

在 区 间 [1.0,1.5] 上 的 一 个 实 根 . 要 求 准确 到 小 数 点 后 第 二 位 (或 四 舍 五 和 后 准确 )。 

【 解 】 首先 验证 (1.0,1.5) 是 否 是 一 个 有 根 区 间 , 易 知 f(1.0) 二 0,f(1.5) 宝 0。 所 以 ， 
将 (1.0,1.5) 作 为 二 分 法 的 初始 区 间 。 利 用 式 (2.2) 可 以 估计 , 若 

(6—a)/2 < 0.5X 107, (2 
则 |z 一 x* |<0.5X10-:, 即 结果 准确 到 了 小 数 点 后 第 二 位 。 代 和 人 a 二 1.0,6 二 1. 5, 求 
解 (2. 3) 得 
。 33 。 
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0.5 
G50 
取 最 小 的 整数 值 &==6。 只 二 分 6 次 ,就 可 得 到 满足 精度 要 求 的 解 。 计 算 过 程 中 的 数据 和 结 
果 列 于 表 2-1。 从 表 2-1 中 可 看 出 ,得 到 的 近似 解 为 zx 一 1. 356( 准 确 解 为 1. 353 210) 。 


表 2-1 采用 二 分 法 求解 例 2. 2 的 过 程 和 结果 


& 之 log 一 1 一 5.6 


k a b: Ik f(x) 

0 1.000 1.500 1.250 一 0. 808 
3 1.250 1. 500 1.375 0.199 
2 1.250 1.375 .3 一 0. 341 
这 1.313 1. 375 1. 344 一 0.081 
4 1. 344 1. 375 1. 360 0. 061 
5 1.344 1. 360 1.352 一 0.011 
6 1.352 1. 360 1. 356 0.025 


2.2.2 算法 稳定 性 和 结果 准确 度 


算法 的 稳定 性 考查 的 是 计算 过 程 中 的 误差 对 结果 的 影响 。 对 于 二 分 法 来 说 ,主要 的 计 
算 步 又 是 计算 函数 值 ,一 般 采 用 双 精 度 浮 点 数 计算 函数 值 的 误差 很 小 ,而 其 他 计算 是 少量 的 
加 减法 ,因此 不 至 于 对 有 根 区 间 以 及 最 终结 果 的 准确 度 造成 多 大 影响 。 另 外 ,在 计算 过 程 中 
解 的 误差 限 逐 次 减 半 ,这 也 说 明 二 分 法 是 稳定 的 。 

在 实际 的 浮 点 算术 体系 中 ,二 分 法 运行 结果 的 准确 度 不 可 能 随和 迭代 过 程 一 直 提 高 。 首 
先 看 一 个 例子 。 

例 2.3( 二 分 法 准确 度 的 极限 ) : 编写 程序 用 二 分 法 求解 方程 f(z) 二 x? 一 2 二 0, 初 始 区 
间 为 [1,2]。 

下 面 是 用 MATLAB 语言 编写 的 程序 : 


M=27 a=17 b=27 K=O0> 


while b-a>eps //MATLAB 中 的 eps 为 2 售 的 机 器 精度 escs , 即 2 于 
x=a+ (b-a) /2; 
se 
b=x // 输 出 b 
SLS 
a=x // 输 出 a 
end 
k=Kk+1; 
end 


这 个 程序 执行 52 步 就 结束 了 ,输出 结果 如 下 : 


b= 1.50000000000000 
a= 1.25000000000000 


i 
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a= 1.37500000000000 
b= 1.43750000000000 
a= 1.41421356237309 
a= 1.41421356237309 
b= 1.41421356237310 
b= 1.41421356237310 


为 了 看 得 更 清楚 ,输入 MATLAB 命令 format hex, 使 输出 按 十 六 进 制 格式 显示 ,再 运 
行 一 遍 上 述 程序 ,最 后 的 4 个 输出 结果 为 

a= 3ff6a09e667f3bc8 

a= 3ff6a09e667f3bcc 


b= 3ff6a09e667f3bce 
b= 3ff6a09e667f3bcd 


可 以 看 出 ,最 终 区 间 (o ,0) 的 两 个 端点 已 经 是 两 个 相 邻 的 浮 点 数 , 即 使 让 二 分 过 程 继续 
执行 下 去 ,区 间 仍 然 不 会 改变 (由 于 a 和 2 平均 值 的 计算 结果 就 是 其 中 的 某 一 个 ) 。 也 就 是 
说 ,人 迭代 再 多 的 次 数 ,结果 的 准确 度 也 无 法 提高 了 。 国 

上 述 例 子 说 明了 二 分 法 结果 准确 度 的 极限 情况 。 一 般 地 ,二 分 法 迭代 过 程 中 ,有 根 区 间 
缩小 的 极限 情况 是 使 它 的 端点 a 、bi 为 两 个 相 邻 的 机 器 浮 点 数 。 此 时 ， 


br — ar = 2 Us Zemach 


其 中 ,ew 为 机 器 精度 ,L。 为 下 取 整 符号 ,而 2teei= 1 为 xz* 的 二 进 制 表示 中 的 指数 部 分 。 
在 这 种 极端 情况 下 , 解 的 误差 限 就 是 区 间 长 度 , 即 
| elzi) |=| zi — zx’ | 委 2 1 。2ewu。 (2.4) 
在 IEEE 双 精 度 浮 点 数 系统 下 ,em 一 2 ”, 则 
| e(zi) | 过 20 to Ze S| x" | 2 和 | z |。2.22X10。 
根据 式 (2.4) 也 可 得 到 相对 误差 的 上 限 


[| 全 | | 


| 让 | 
这 个 相对 误差 限 正好 是 计算 机 中 用 浮 点 数 表示 实数 的 误差 限 (定理 1.5) 的 两 倍 。 

式 (2.4) 给 出 了 用 二 分 法 求解 时 绝对 误差 限 可 能 达到 的 最 小 值 ,算法 2. 1 中 的 误差 阔 值 
es 如果 小 于 这 个 值 , 则 会 造成 死 循 环 。 实 际 的 二 分 法 程序 可 以 将 s 设置 为 max {|a| ,|0|) ， 
2 euu ,通常 可 采用 二 分 法 求 到 最 准确 的 解 .然后 正常 结束 。 综 合 上 述 讨 论 以 及 式 (2. 2) ,得 
到 定理 2. 2。 

定理 2.2: 在 实际 的 浮 点 算术 体系 下 采用 二 分 法 解 方程 f(z) 二 0, 设 初始 有 根 区 间 为 
(a,5), 则 

(1) 结果 的 误差 限 最 小 可 达到 2Lo&1* 4 。 26 , 其 中 x* 为 准确 解 ,对 应 的 相对 误差 限 
汶 Wessae 

(2) 若 算法 2. 1 的 while 循环 终止 执行 时 ,误差 阔 值 s 大 于 或 等 于 24%1** 41。2ewu , 需 
执行 的 迭代 步 数 为 


委 Zemach o (2.5) 
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=| og |], (2.6) 


k € 

定理 2.2 的 结论 (2) 的 证 明 留 给 读者 思考 。 

最 后 ,对 二 分 法 说 明 几 点 。 

(1) 二 分 法 是 求 单 变 量 方程 f(x) 二 0 的 实 根 的 一 种 可 靠 算 法 , 若 存在 有 根 区 间 , 则 一 定 
能 收敛 。 

(2) 二 分 法 解 的 误差 不 一 定 随 迭代 次 数 增加 一 直 减 小 ,在 实际 的 有 限 精度 算术 体系 中 ， 
误差 限 存在 最 小 值 。 

(3) 二 分 法 的 缺点 是 ,有 时 不 易 确 定 合适 的 初始 有 根 区 间 ( 含 两 个 初始 值 )、 收 敛 较 慢 ， 
且 无 法 求解 偶数 重 的 根 。 因 此 ,实际 应 用 中 常 将 二 分 法 与 其 他 方法 结合 起 来 。 


2.3 不 动 点 迭代 法 


二 分 法 的 计算 效率 不 够 高 ,本 章 后 续 部 分 将 介绍 几 种 应 用 广泛 ,收敛 较 快 的 迭代 法 。 本 
节 介 绍 不 动 点 迭代 法 及 其 收敛 性 理论 ,为 后 续 其 他 方法 的 讨论 建立 基础 。 


2.3.1 基本 原理 


通过 某 种 等 价 变换 ,可 将 非 线性 方程 (2. 1) 改 写 为 

并 一 VPCZ)。 (2.7) 

其 中 ,9p(z) 为 连续 函数 。 给 定 初始 值 ze 后 ,可 构造 迭代 计 
算 公 式 

zi 一 pm) (一 0,1,2，) (2.8) 

从 而 得 到 近似 解 序列 {zx}。 由 于 方程 (2. 1) 和 方程 (2.7) 

的 等 价 关系 ,很 容易 证 明 若 序列 {x } 收敛, 其 极限 必 为 原 

方程 (2.1) 的 解 x" 。 由 于 解 xz* 满足 x” 二 g(x" ), 因 此 称 

它 为 函数 p(x) 的 不 动 点 (fixed point) ,此 方法 为 求解 非 线 

性 方程 (2. 1) 的 不 动 点 迭代 法 (fixed-point iterative 


图 2-4 采用 不 动 点 迭代 法 ,近似 
解 序列 {zx} 收敛 到 x* 


method) 。 
不 动 点 迭代 法 的 求解 过 程 如 图 2-4 所 示 ,而 算法 描述 
在 下 面 给 出 。 


算法 2.2: 基于 函数 p(z) 的 不 动 点 迭代 法 
输入 : zo ,函数 FCz),p(Cz); 输出 : 工 . 
k :一 0; 
While | f(x)|>a 或 |zi—zxi-i|>ez do 
PC 
k :=k 十 1]; 
End 


ZX: 二 zk 
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其 中 ,es 和 ez 为 用 于 判断 迭代 是 否 应 停止 的 两 个 靖 值 。 关 于 和 迭代 的 判 停 准 则 ,2.4. 3 节 将 会 
详细 讨论 。 
例 2.4( 不 动 点 迭代 法 ): 求 f(z) 二 x 一 + 一 2==0 在 x 二 1.5 附近 的 根 。 以 不 同 的 方式 
得 到 方程 的 等 价 形式 ,研究 相应 的 不 动 点 迭代 法 的 收敛 情况 。 
【 解 】 将 原 方程 改 为 等 价 的 (A)、(B) 两 种 形式 ,得 到 下 述 两 种 不 动 点 迭代 法 。 
方法 (A): 将 方程 改写 为 + 二 x 一 2, 得 到 的 迭代 法 计算 公式 为 zo 王 1.5,zti 一 雄一 2， 
(一 0,1,2,…)。 计 算出 的 结果 如 下 : 
zl 一 1.5 一 2 一 3.0625， 
za = 3.06254 一 2 = 85.9639, 


从 上 述 计 算 结 果 看 ,序列 {xi} 有 趋 于 无 穷 大 的 趋势 ,迭代 法 不 收敛 ,无 法 求 出 近似 解 。 
方法 (B): 将 方程 改写 为 x 二 Vz 干 2, 得 到 的 迭代 法 计算 公式 为 zo =1. 5, zt 一 
Tr 十 2,(k 二 0,1,2,…)。 计 算出 的 结果 如 下 : 
x1 = V1.5+2 = 1.3678, 
za = YI. 3678 +2 = 1. 3547， 
xs = V1.3547+2 = 1.3534, 
zi = V1.3534+2 = 1.3532, 
xs = V1.3532+2 = 1.3532。 
从 上 述 计算 结果 看 ,x 和 xs 前 5 位 有 效 数字 均 为 1. 3532, 可 认为 迭代 过 程 是 收敛 的 ， 
要 求 的 根 为 1. 3532。 国 
通过 例 2.4 可 以 看 出 ,用 不 同 的 方式 改造 原 方程 ,可 得 到 多 种 不 动 点 迭代 法 计算 过 程 ， 
其 收敛 性 质 也 不 同 。 因 此 ,判断 一 个 不 动 点 迭代 法 是 否 收敛 至 关 重 要 。 


2.3.2 全 局 收敛 的 充分 条 件 


定理 2. 3 给 出 一 个 函数 存在 唯一 不 动 点 的 充分 条 件 。 

定理 2.3: 设 g(x)ECLa,b], 若 满足 如 下 两 个 条 件 : 

(1) 对 任意 xzE[a,b], 有 a<yp(x)b。 

(2) 存在 正常 数 LE(0,1) ,使 对 任意 x ,x2 E€[a,b]， 

Ip = pz |<L|a = ls 

则 g(xz) 在 [a,5] 上 存在 不 动 点 , 且 不 动 点 是 唯一 的 。 

在 证 明定 理 之 前 , 先 理解 定理 中 两 个 条 件 的 含义 。 首 先 , 采 用 不 动 点 迭代 法 的 计算 公式 
为 zt 一 p(zt) ,k= 二 0,1,2,…, 因 此 要 使 后 续 迭 代步 的 计算 合法 ,必须 要 求 g(x) 的 值 在 函 
数 的 定义 域内 ,(1) 的 条 件 保证 了 这 一 点 。 其 次 ,(2) 中 新 加 的 条 件 表明 ,yp(x) 曲 线 上 任 两 点 
连 线 斜率 的 绝对 值 都 不 超过 工 , 当 两 点 非常 靠近 时 , 它 就 是 导数 。 因 此 ,q(xr) 曲 线 上 任意 点 
的 切线 斜率 的 绝对 值 都 小 于 1, 这 说 明 p(x) 曲线 变化 很 平缓 ,在 曲线 上 任意 点 处 的 斜率 都 
比 y=x 和 y= 一 x 两 条 直线 小 。 这 个 条 件 也 称 为 L 二 1 的 利 普 希 茨 (Lipschitz) 条 件 ,L 为 
利 普 希 茨 系数 。 
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【证 明 】 先 证 明 不 动 点 的 存在 性 ,分 两 种 情况 。 

(1) 若 g(a) 二 =a, 或 9g(6)==b, 则 a 或 6 为 不 动 点 。 

(2) 若 g(a) 隆 a 且 p(O) 天 0, 则 g(a) 之 ag(0)<<b。 令 f(z) 王 g(x) 一 z+, 则 (zx) 为 连续 
函数 ,上 且 f(a) 记 0,f(6) 二 0。 根据 连续 函数 性 质 , 必 有 x* El(a.b), 使 f(x*)==0, 即 g(x*)= 
Tyw "为 不 动 成 。 

再 证 明 唯一 性 ,采用 反 证 法 。 假 设 有 两 个 不 同 的 不 动 点 x? ,x2? E [a,0], 它 们 满足 


GX? )=7r, G(X2)=7r2, XI 天 7Tz。 


根据 (2) 中 的 条 件 推出 
[zr —z? |=| p(x?)— p(x2) I<L| zr zr |<|zi —zx2 |。 
产生 矛盾 。 所 以 假设 x? 关 x2 不 成 立 , 不 动 点 是 唯一 的 。 国 


应 说 明 的 是 ,上 述 证 明 不 动 点 的 存在 性 只 使 用 了 条 件 (1), 因 此 条 件 (2) 可 以 弱化 为 
g(x) 一 g(xz)| 达 |xzi 一 xz|。 事 实 上 ,通过 画 函 数 曲 线 图 的 方式 也 可 以 形象 地 说 明 不 动 点 
的 存在 性 ,如 图 2-5 所 示 ,在 虚线 正方 形 中 曲线 g(x) 必 与 正方 形 对 角 线 相交 。 


yh y=x 


1 
1 
1 
1 
1 
1 
1 
1 
1 
afFz--------- 一 | 
| 一 


Ol a 区 


图 2-5 定理 2.3 的 条 件 (1) 保 证 了 一 定 存 在 x 使 得 x 二 g(x) 


定理 2. 4 给 出 了 不 动 点 迭代 法 收敛 的 充分 条 件 。 
定理 2.4: 设 g(x)ECLa,0] 满 足 定理 2. 3 的 两 个 条 件 , 则 对 于 任意 初 值 x。 € [a,bj, 由 
不 动 点 迭代 法 得 到 的 序列 {xz} 收敛 到 p(x) 的 不 动 点 x* ,并 有 误差 估计 
has = < 二 Lb = Ns 
【证 明 】 首先 注意 到 定理 条 件 保 证 了 不 动 点 唯一 存在 ,而 且 条 件 (1) 保 证 了 不 动 点 迭代 
法 可 执行 下 去 ,从 而 得 到 序列 {x}。 下 面 证 明 序 列 {x) 收 敛 , 其 思路 是 考虑 误差 序列 ,证 明 
其 极限 为 0。 


| Mk |=| pT) — px" ) |<L | A | 二 … 志 LL* Wa = | 
由 于 工 为 小 于 1 的 正常 数 , 则 
limL* |xo—zx* |=0, => lim|zxz mx’ |=0, = limz, = x*。 
Ac ko ko 


这 证 明了 不 动 点 办 代 法 是 收 全 的 。 剩 下 | 一 x* | 过 -|x 一 | 的 证 明 , 留 给 读者 思考 。 国 


定理 2. 4 为 判断 不 动 点 迭代 法 的 收 伊 性 提供 了 依据 ,这 种 收敛 不 依赖 于 初 值 x。 的 选 
取 , 因 此 称 为 全 局 收敛 。 为 了 方便 应 用 ,也 可 将 定理 2. 3 和 定理 2. 4 中 的 第 二 个 条 件 蔡 换 
为 : 对 任意 xE [a.0], 有 |yg (x) | 过 1, 得 到 便于 使 用 的 定理 2. 5。 
定理 2.5: 设 p(x)ECLa,6b], 且 满足 如 下 两 个 条 件 : 
。38 。 
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(1) 对 任意 zE[e, 刀 ,有 ao 委 p(Cz) 委 0。 
(2) 对 任意 zxE[a,6], 有 |y (zx)|<<1。 
则 对 于 任意 初 值 zxvE[Le, 妇 ,由 不 动 点 迭代 法 得 到 的 序列 {ze} 收敛 到 p(Cz) 的 不 动 点 zx， 
有 误差 估计 
[a 一 xz" | 过 1m 一 1， 其 中 工 是 1g (x) | 的 最 大 值 。 
此 定理 可 看 成 定理 2. 4 的 推论 ,其 证 明 留 给 读者 思考 。 注 意 , 当 考虑 函数 定义 域 为 及 
时 ,定理 2.5 中 的 条 件 (1) 就 不 需要 了 。 这 可 以 看 成 应 用 定理 2. 5 的 一 种 特殊 情况 。 


例 2.5( 不 动 点 迭代 法 的 收敛 性 ) : 对 于 求 f(z) 二 x 一 x 一 2 二 0 在 xo 二 1.5 附近 的 根 的 
问题 ,使 用 定理 2. 5 考查 例 2. 4 中 两 种 方法 的 全 局 收敛 性 。 

【 解 】 在 区 间 [1,2] 上 考查 如 下 两 种 不 动 点 迭代 法 的 收敛 性 : 

方法 (A); zin= 二 zt 一 2, (k= 二 0,1,2,*…)。 

方法 (B): zt 一 Wx 十 2,(k=0,1,2,")。 

很 容易 看 出 ,方法 (B) 符 合 定理 2. 5 中 的 条 件 (1), 而 (x) 一 二 (x 十 2)- 也 符合 条 件 


(2) ,因此 方法 (B) 具 有 全 局 收敛 性 。 方 法 (A) 不 符合 定理 中 的 条 件 (1) ,因此 无 法 根据 定理 
2.5 说 明 其 具有 全 局 收敛 性 。 国 

关于 全 局 收敛 性 ,再 说 明 以 下 两 点 。 

(1) 定理 2.4 和 定理 2. 5 给 出 的 都 是 不 动 点 迭代 法 全 局 收敛 的 “充分 条 件 ”。 也 就 是 
说 ,对 一 些 满足 条 件 的 方法 ,可 以 证 明 其 具有 全 局 收敛 性 ,但 根据 它们 并 不 说 明 某 个 方法 不 
具有 全 局 收敛 性 。 

(2) 全 局 收敛 性 要 求 初始 值 ze 为 定义 域内 任意 值 时 不 动 点 迭代 法 都 收敛 ,这 常常 是 很 
难 达 到 的 要 求 。 


2.3.3 局 部 收敛 性 


不 同 于 全 局 收敛 性 ,下 面 给 出 重要 的 局 部 收敛 性 的 概念 。 

定义 2.2: 设 函 数 g(x) 存 在 不 动 点 zx” , 若 存在 二 的 某 个 邻 域 D:[z 一 6,zx* 十 中 ,对 于 任 
意 初 值 rz ED, 和 迭代 法 zi4i 二 g(x) 产生 的 解 序列 (x) 收敛 到 x* , 则 称 迭 代 法 局 部 收敛 。 

这 个 定义 中 的 邻 域 是 以 x* 为 中 心 点 的 一 个 对 称 区 间 , 局 部 收敛 性 的 定义 要 求 的 是 存在 
这 样 一 个 邻 域 , 而 不 关心 它 的 大 小 。 定 理 2.6 给 出 迭代 法 局 部 收敛 的 充分 条 件 。 

定理 2.6: 设 x 为 函数 g(x) 的 不 动 点 ,车 g(x) 在 x* 的 某 个 邻 域 上 连续 ,上 且 |w (x* )| 达 1， 
则 不 动 点 迭代 法 ze 三 p(x) 局 部 收敛 。 

【证 明 】 因为 g (x) 在 x=x* 附近 连续 且 |g (x* )| 雪 1, 则 存在 二 的 某 个 邻 域 卫 ,使 得 
对 于 任意 xzED,|1g (zx) | 三 L, 其 中 工 是 某 个 介 于 |g (x*)| 和 1 之 间 的 数 , 如 工 = 


1 站 1 如 然 ,<<1, 即 满足 定理 2.5 的 条 件 (2)。 另 外 ,对 VrE D， 


GT)—zx* =97)—9r*)=9(0dr—r), ED, = 
lm(a) = Ese=r" (<ls=z" |s 
即 g(x)ED, 满 足 定理 2.5 的 条 件 (1)。 
因此 ,根据 定理 2. 5, 此 和 迭代 法 对 区 间 D 内 的 任意 初 值 都 收敛 ,根据 定义 2.2 知 , 此 和 迭代 
。 39 。 
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法 局 部 收敛。 国 
对 比 定理 2.6、 定 理 2.4 及 定理 2. 5 可 以 看 出 ,定理 2.6 的 条 件 较为 宽松 , 它 只 需 考查 
函数 p(x) 在 x" 这 一 点 上 是 否 满足 要 求 。 因 此 ,不 动 点 迭代 法 较 容易 具有 局 部 收敛 性 ,对 局 
部 收敛 的 判断 也 相对 简单 。 
最 后 说 明 一 点 ,定理 2. 5 说 明 利 普 希 茨 系数 工 越 小 ,迭代 收敛 的 速度 越 快 ,而 定理 2. 6 
的 证 明 过 程 说 明了 工 与 |w (x* )| 的 关系 。 因 此 ,1g (x* )| 越 小 ,迭代 收敛 的 速度 越 快 。 


2.3.4 ”稳定 性 与 收敛 阶 


与 二 分 法 类 似 , 不 动 点 迭代 法 的 每 步 计算 都 可 以 通过 判 停 准则 (包括 考查 f(xi) 是 否 接 
近 0) 评 估 解 的 准确 度 ,因此 解 的 误差 容易 被 及 时 发 现 和 纠正 。 只 要 和 迭代 过 程 是 收敛 的 , 误 
差 将 随 迭 代步 的 增加 逐渐 趋 于 零 , 而 不 会 像 某 些 算法 的 舍 和 误差 会 随 迭 代 过 程 逐 渐 累 积 。 
因此 ,收敛 的 不 动 点 迭代 法 总 是 稳定 的 。 在 本 章 后 续 算法 的 讨论 中 ,将 不 再 关心 稳定 性 ,而 
将 重点 放 在 收敛 性 的 讨论 上 。 

对 于 收敛 的 迭代 法 ,其 收敛 速度 的 快慢 也 很 重要 , 它 关系 到 达到 特定 的 准确 度 需 要 多 少 
步 迭 代 , 也 就 是 需要 多 少 计算 量 。 下 面 先 看 一 个 例子 ,然后 给 出 收敛 阶 的 概念 ,用 于 衡量 迭 
代 收 敛 的 速度 。 

例 2.6( 迁 代 收 敛 速度 ) : 假设 有 (1) 一 (3) 3 个 迭代 求解 过 程 ,其 达 代 解 的 误差 |e(x)|= 
Ix 一 +" | 随和 迭代 步 的 变化 情况 分 别 为 

Cy MO LO I0 S10 sn, 

C2 LO LO TO LO 

(C37 0 0 10 .10 

显然 ,迭代 法 (1)、(2)、(3) 的 收敛 速度 不 同 , 方 法 (3) 收 敛 得 最 快 ,而 方法 (1) 收 敛 得 最 
慢 。 再 仔细 观察 , 发 现 对 于 (1) 和 (2), 相 邻 步 误 差 的 比例 为 一 常数 : 对 于 方法 (1)， 
|eCzei)/e(Czi)| 王 10-1; 对 于 方法 (2) ,|e(CztH)/eCrz)| 王 10-2。 对 于 方法 (3) , 相 邻 步 误 差 
的 比值 逐步 变 小 ,因此 , 它 表现 出 更 快 趋 于 0 的 收敛 过 程 。 国 

定义 2.3: 设 一 个 迭代 解 序列 {zxo ,zi zz，… ,zh.…) 收 敛 于 准确 解 xz* , 若 和 迭代 解 的 误差 
e(zi) 一 必 一 z* ,一 1,2,… 满足 以 下 渐 近 关系 : 


。 | e(zm) | 
1 一 c，(c 天 0)， 
本 过 Cad 


则 称 迭 代 过 程 是 p 阶 收敛 的 ,或 称 收敛 阶 为 p。 

关于 这 个 定义 要 注意 的 是 ,对 一 个 迭代 法 ,其 收敛 阶 p 的 值 是 唯一 的 ,车 取 其 他 值 ,会 
使 极限 值 c 为 0 或 无 穷 大 。 此 外 ,这 个 定义 也 适合 于 非 线性 方程 求解 以 外 的 其 他 迭代 过 程 。 

根据 定义 2.3, 例 2.6 中 3 个 迭代 过 程 的 收敛 阶 分 别 为 

(1) 1 阶 收敛 ,c==1071。 

(2) 1 阶 收敛 ,c 王 10 一 。 

(3) 2 阶 收敛 ,c 王 1。 

对 于 二 分 法 来 说 , 它 大 体 上 具有 1 阶 收敛 性 ,收敛 常数 c 一 0. 5。 

收敛 阶 为 1 的 迭代 法 称 为 线性 收敛 ;车 收敛 阶 p 记 1, 则 称 为 超 线性 收敛 ;p= 二 2 对 应 的 
迭代 法 为 平方 收 化 。 收 敛 阶 p 越 大 , 则 足够 大 以 后 ,1e(xi)| 二 1, 解 误差 的 衰减 速度 就 越 

。40 。 
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快 。 因 此 ,收敛 阶 越 高 ,迭代 法 收敛 得 越 快 ,计算 量 也 越 少 ,所 以 我 们 往往 寻求 收敛 阶 尽量 高 
(如 超 线性 收敛 .2 阶 收 敛 ) 的 迭代 法 。 

对 于 收敛 阶 为 整数 的 迭代 法 ,下面 的 定理 给 出 了 判断 方法 。 

定理 2.7: 对 于 不 动 点 迭代 法 zt 王 p(Cze) , 若 在 所 求 根 x* 的 邻 域 上 函数 g(x) 的 p 阶 导数 
连续 ,p 宇 2, 则 该 迭代 法 在 x* 的 邻 域 上 p 阶 收敛 的 充分 必要 条 件 是 :gy (x* ) 二 4 (x* ) 一 … 一 
p+ (zr)=0, 有 8 gH (zr* ) 天 0。 

【证 明 】 先 证 明 充 分 性 。 根 据 定理 2.6 很 容易 看 出 该 迭代 法 是 局 部 收敛 的 ,然后 根据 
定义 2. 3 考查 其 收敛 阶 。 


eT)= ZHI 一 工 * pz) 一 PC ) 


= (rx) (zm — zx") 十 于 gc jt 一 Ww 站 站 和 


2 pe i") 


(p—!1 
= eC 一 )， (2.9) 
其 中 总 为 zk 和 xz* 之 间 的 某 个 数 。 因 此 ,从 式 (2.9) 可 以 推出 
| eCzeH) | 


二 二 (p) nl (Cp) 7 * 
= lm ly? 8) |= 7 1 (") | 0 


kee | el(xi) |? 
最 后 一 个 等 式 是 由 于 x 的 极限 是 zx* ,所 以 & 的 极限 也 是 x* ,再 根据 定义 2. 3, 即 证 明 该 迷 
代 法 pp 阶 收敛 。 

再 证 明 必要 性 。 采 用 反 证 法 ,车 g(x ),y (zx* ),…,g?(z*) 的 值 不 同 于 定理 中 描述 
的 , 即 从 g(x* ) 开 始 的 各 阶 导 数 中 有 连续 gq 个 为 0(g 取 p 一 1) ,而 第 gq 十 1 阶 导数 不 为 0, 则 
根据 前 面 对 充 分 性 的 证 明 可 知 ,此 方法 为 gq 十 1 阶 收敛 ,而 g 十 1 隆 p, 这 与 p 阶 收敛 的 条 件 矛 
盾 , 因 此 必要 性 得 证 。 国 

对 于 足够 光滑 的 函数 g(x) ,定理 2.7 给 出 了 不 动 点 迭代 法 zi 二 q(x) 在 x* 邻 域内 收 
敛 性 质 的 判定 依据 , 即 通 过 考查 x* 处 g(x* ) 及 更 高 阶 导数 值 是 否 为 0, 便 可 判断 该 方法 的 
收敛 阶 。 应 当 注 意 的 是 ,这 个 判 据 得 到 的 是 局 部 收敛 的 有 关 性 质 , 也 称 为 局 部 收敛 阶 。 

定理 2.7 涉及 x" 这 个 不 确定 的 值 ,有 时 为 了 方便 ,也 可 考查 整个 有 根 区 间 [a,5bj 上 q(x) 的 
各 阶 导数 的 值 。 例 如 ,车 对 于 任意 xELa,bj,g (x) 冯 0, 则 此 迭代 过 程 只 可 能 线性 收敛 。 

关于 线性 收敛 有 如 下 定理 , 它 可 以 根据 定理 2.6 和 定义 2.3 证 明 。 

定理 2.8: 对 于 不 动 点 迭代 法 ztti=p(ze), 若 在 所 求 根 z” 的 邻 域 上 函数 p(z) 的 1 阶 
导数 连续 ， 

(1) 如 果 g (zx* ) 隆 0, 且 |g (x* ) | 二 1, 则 该 迭代 法 在 zx* 的 邻 域 上 线性 收敛 ; 

(2) 如 果 该 迭代 法 在 x 的 邻 域 上 线性 收敛 , 则 yg (x* ) 取 0, 且 |y (x* | 二 1。 


2.4 ”牛顿 迭代 法 


前 面 介绍 的 不 动 点 迭代 法 是 一 大 类 方法 ,实际 应 用 时 其 形式 多 种 多 样 ,收敛 性 质 也 是 好 
坏 不 一 。 本 节 介绍 的 牛顿 欠 代 法 9 是 一 种 被 广泛 使 用 的 方法 , 它 具 有 比较 固定 的 公式 ,因此 


四 又 称 为 牛顿 - 拉 弗 森 法 (Newton-Raphson method) ,简称 牛顿 法 。 
二 
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减少 了 构造 不 动 点 迭代 法 的 盲目 性 ,并 且 它 具有 局 部 收敛 性 和 较 高 的 收敛 阶 。 
2.4.1 方法 原理 


下 面 结合 图 2-6 介绍 牛顿 法 的 构造 思想 。 图 2-6 中 显示 了 函数 y= 二 f(x) 的 曲线 ,我 们 
要 求 方程 f(x) 二 0 的 根 x* , 即 求 该 曲线 与 横 坐 标 轴 的 交 
点 。 假 设 已 得 到 第 个 近似 解 zi, 则 可 用 如 下 方法 得 到 下 
一 个 近似 解 zi+1( 希 望 它 更 接近 x* ): 先 求 出 f(x) 在 z=x， 
处 的 切线 , 设 切 线 方程 为 y= 二 P(x), 它 是 一 次 多 项 式 函 数 ， 
用 P(z) 近 似 f(x), 则 P(x)==0 的 根 就 是 新 的 近似 解 ze 。 
从 几何 的 角度 看 ,就 是 将 切线 与 横 轴 交点 处 的 xz 值 作为 下 
一 步 近 似 解 。 图 2-6 牛顿 法 的 构造 思想 

采用 点 斜 式 公式 ,切线 方程 为 

P(z) = f(x) + (xz—zr)f (rx) 


解 方程 P(r) 二 0, 得 到 
XH 二 Th fe 
FG 
式 (2.10) 便 是 牛顿 迭代 法 的 迭代 计算 公式 。 
这 样 , 任 给 一 个 非 线 性 方程 f(z) 二 0, 即 可 得 到 牛顿 迭代 法 。 


(2.10) 


算法 2.3: 解 单个 非 线性 方程 的 牛顿 迭代 法 
输入 : zo ,函数 f(x) ; 输出 : z . 

k :=0; 

While | f(x)|>a 或 |zi—zxii|>e: do 


牛顿 迭代 法 也 是 一 种 不 动 点 迁 代 法 ,相应 的 式 (2.7) 中 的 函数 p(x) 二 x 一 隶 马 。 为 了 


fz) 
保证 计算 的 可 行 性 ,应 用 牛顿 迭代 法 时 要 求 f(z) 隆 0,k 二 0,1,2,…。 
下 面 考查 牛顿 迭代 法 的 局 部 收敛 性 和 收敛 阶 。 假设 了 (x* ) 隆 0, 即 x* 为 方程 f(x)==0 
的 单 根 ( 根 据 定义 2. 1) ,我 们 来 看 g(x* ) 的 值 。 


/ [LP(z) 平 一 FGz)P(z) _ fF Uz) A 
pg (rz)=1 [FF [FDF g(r*)=0。 
对 g (xz) 再 求 导 一 次 ,整理 公式 得 到 
F(z) = fe ) (2.117 
远 


一 般 情 况 下 ,%(z* ) 和 天 0。 根 据 定理 2. 6 和 定理 2.7, 得 到 如 下 关于 牛顿 迭代 法 收敛 性 的 结论 。 
定理 2.9: 设 z 是 方程 f(x) 二 0 的 单 根 , 且 f(z) 在 x 附近 有 连续 的 2 阶 导 数 , 则 牛顿 
二 这 六 治 
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法 产生 的 解 序列 至 少 是 局 部 2 阶 收敛 的 。 
例 2.7( 牛 顿 迭代 法 ): 采用 牛顿 迭代 法 求 方程 
二 二 三 
在 1.5 附近 的 实 根 。 
【 解 】 牛顿 法 的 计算 公式 为 
_ f(z) 3zt 十 2 
TH Fn) 4 一 1 
设 初 始 值 为 zeo 王 1.5, 代 入 式 (2.12) 依 次 算出 各 个 迭代 解 , 列 于 表 2-2。 从 表 2-2 中 的 数据 
可 以 看 出 ,到 第 四 步 迭 代 , 解 的 前 5 位 有 效 数字 已 经 不 变化 了 ,迭代 过 程 收 敛 得 很 快 。 


表 2-2 采用 牛顿 法 求解 例 2.7 的 过 程 和 结果 


k 0 1 2 3 4 


k=0,1,2,.…, (2. 12) 


a 1.5 1.375 1.3538 1.3532 1.3532 


此 例 与 前 面 的 例 2. 2、 例 2.4 求解 的 是 同一 个 方程 ,将 它们 进行 对 比 也 可 以 看 出 ,牛顿 
法 比 二 分 法 和 不 动 点 迭代 法 收敛 得 都 快 ,这 体现 了 2 阶 收敛 性 的 优势 。 
例 2.8( 用 牛顿 法 算 平方 根 ) : 要 求 方程 
f(z)=7rz—c=0, c>0 
的 正 根 z* 。 试 分 析 采 用 牛顿 法 求解 过 程 的 收敛 性 质 。 
【 解 】 列 出 牛顿 法 计算 公式 : 


le .. 
XH Xk 2 3 (mt); k=0,1,2,., (2. 13) 
由 于 了 (x* ) 天 0, 且 /xz ) 了 0, 根据 定理 2.8 知 , 式 (2.13) 局 部 2 阶 收敛 。 国 


需要 说 明 的 是 ,迭代 式 (2. 13) 对 任意 zo 二 0 都 是 收敛 的 。 也 就 是 说 ,在 区 间 (0, 十 2) 上 是 
全 局 收敛 的 。 要 证 明 这 一 点 ,不 能 直接 应 用 定理 2. 4 或 定理 2. 5, 但 考虑 到 按 式 (2. 13) 迭 代 一 
次 后 解 即 满 足 zx 三 Ye, 只 需 证 明 在 区 间 [We, 十 w) 上 的 全 局 收敛 性 ,而 这 可 根据 定理 2.4 或 2.5 
证 明 。 下 面 从 另 一 角度 出 发 ,直接 证 明和 迭代 式 (2. 13) 在 区 间 (0, 十 w) 上 的 全 局 收敛 性 。 

对 迭代 计算 式 (2. 13) 进 行 配方 处 理 , 得 到 两 个 等 式 


zu 一 到 = 下 (一 人 9 (2.14) 
大 


未 g 拉 大 三 Ca 十 2， (2.15) 
大 


将 式 (2. 14) 除 以 式 (2. 15) 得 


HH —Vc Tk —Vc ] 
一 (2. 16) 
HH 十 Ac 属 十 Mc 
反复 推导 可 得 
二 =] 
C2.173 
EF 十 Mc 医 十 Ac 
从 式 (2.17) 可 看 出 ,对 任意 zx。 这 0, 都 有 | 下 一 | 一 1, 因 此 等 号 右边 的 项 随 的 增 大 
Xo 过 


二 
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极限 为 0。 也 就 是 说 , 王 一 的 樟 限 为 0, 即 zeni 将 收敛 到 Yc。 这 便 说 明了 求解 此 问题 的 
Tk+1 C 
牛顿 法 公式 (2. 13) 在 区 间 (0, 十 ==) 上 是 全 局 收敛 的 。 
上 述 结论 说 明 , 式 (2. 13) 是 计算 平方 根 Je 的 稳定 算法 ,由 于 计算 过 程 中 只 有 加 、 减 . 乘 、 


除 等 简单 运算 ,因此 也 是 计算 机 上 实际 使 用 的 求 平方 根 算法 。 
2.4.2 重 根 的 情况 


前 面 对 x* 是 方程 f(x)==0 的 单 根 的 情况 分 析 了 牛顿 法 的 收敛 性 ,下 面 考虑 x* 是 mm 重 
根 (m 宇 2) 的 情况 。 根 据 定义 2.1, fm(z* )==0,j= 二 1,2, ym 一 1, 而 f(x* ) 天 0。 此 时 
g(x) 的 计算 公式 中 分 母 为 零 ,无 法 利用 定理 2.7 判断 牛顿 法 的 收敛 性 。 下 面 直接 根据 
定义 2. 3 进行 分 析 。 考 查 相 邻 迭 代步 误差 的 变化 情况 ,由 式 (2.10) 得 出 


eZim) 一 AH 一 关 = e(x) 全 让。 
eTH) 1 fx)— fx’) 
e(xx) f (x) xt — zx") 


高 fm (6)(m 一 zi 


(大 一 五" ) 0 fw EN) (m2 )"! 
= () 
mf (Ey 
其 中 和 各; 均 在 以 ti 和 zx * 为 端点 的 开 区 间 内 。 如 果 迭 代 法 收 伍 , 则 当 k>w 时 , 系 和 所 的 极 
限 均 为 -" 。 因 此 ， 


i (2. 18) 


这 表明 牛顿 法 如 果 收 敛 , 则 为 局 部 线性 收敛 ,收敛 常数 c 一 1 一 十 , 根 的 重 数 m 宇 2, 因 此 
0. 5 人 c 过 1。 从 这 个 角度 看 ,如 果 用 牛顿 法 求 重 根 , 则 其 收敛 性 并 不 比 二 分 法 更 好 。 
2.4.3 判 停 准则 


在 迭代 方法 的 实现 中 ,使 用 合适 的 判 停 准 则 非常 重要 。 它 既 影响 迭代 步 数 , 即 整体 计算 
效率 ,也 影响 结果 的 准确 度 。 对 于 二 分 法 ,我们 可 方便 地 计算 结果 的 误差 限 , 根 据 有 根 区 间 
的 长 度 ,就 可 以 确定 迭代 过 程 停止 的 条 件 。 而 对 于 一 般 的 不 动 点 迭代 法 (包括 牛顿 法 ) , 较 难 
直接 估计 误差 限 ,迭代 过 程 的 判 停 准则 主要 有 3 种 。 

(1) 残 差 判 据 , 即 要 求 |f (x4) | 过 ei ,其 中 se 为 某 个 闽 值 。 

(2) 误差 判 据 , 即 要 求 |xi41 一 xi | 三 ez ,其 中 2 为 某 个 阔 值 。 

(3) 相对 误差 判 据 , 即 要 求 |zxi41 一 x | 二 es | zetai| ,其 中 es 为 某 个 阔 值 。 

残 差 判 据 和 误差 判 据 都 有 一 定 道理 ,但 也 有 和 缺陷。 当 问 题 比 较 敏 感 时 (如 求 重 根 或 
六 (x” ) 很 小 的 情况 ) ,| 了 (za) | 很 小 并 不 意味 着 zx 很 接近 zx*。 而 当 近 似 解 序列 {xz} 收敛 很 
慢 时 , | ze 一 xz 很 小 并 不 能 说 明 | ze 一 z | 很 小 。 因 此 ,实际 应 用 时 往往 将 这 3 种 判 据 组 
合 起 来 使 用 ,有 时 也 需要 根据 问题 特点 和 经 验 额外 设置 条 件 。 

se。 44 。 
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2.4.4 牛顿 法 的 问题 


当 f(x) 满足 2 阶 导 数 连 续 , 且 并 为 它 的 单 根 时 ,牛顿 法 在 局 部 范围 内 2 次 收敛 。 然 
而 , 当 这些 假 设 不 满足 时 ,牛顿 法 可 能 变 得 非常 不 可 靠 。 若 f(x) 不 具有 连续 的 2 阶 导数 ,或 
者 初始 解 不 够 靠近 准确 解 ,那么 它 可 能 收敛 得 很 慢 , 或 者 根本 不 收敛。 

下 面 构造 一 个 极端 的 例子 说 明 这 个 问题 。 在 这 种 极端 情况 中 ,牛顿 法 的 迭代 解围 绕 
Z 一 4 这 一 点 不 断 地 来 回 跳动 ,要 出 现 这 种 情况 , 则 


Zi 一 CQ =— (zi — a), 

即 

TE fe (zi —a) 
车 有 一 个 函数 f(x) 满 足 

z-e- = 一 co (2.19) 
则 用 牛顿 法 求解 FCz)=0 时 ,无 论 取 什么 初始 值 , 后 续 的 迭代 解 都 将 围绕 点 a 不断 地 来 回 
跳动 ,这 样 无 限 循环 下 去 。 方 程 (2. 19) 实 际 上 是 一 个 可 分 离 的 常 微分 方程 

fx) 1 


flr) 2(z 一 a)。 
用 微 积 分 的 知识 ,很 容易 求 出 
f(x) = sign(r—a) VIzx—al, 
方程 f(x) 二 0 的 准确 解 为 x* 二 a。 采 用 牛顿 法 求解 该 方程 的 过 程 如 图 2-7 所 示 , 其 中 参数 a 二 2。 
在 图 2-7 中 , 画 任 何 一 点 处 的 切线 , 它 与 x 轴 的 交点 都 处 于 x 二 a 的 另 一 侧 。 根 据 上 面 
的 推导 我 们 知道 ,牛顿 法 求解 该 问题 时 的 迭代 解 一 一 一 一 一 一 一 一 一 一 


1.5r 


直 往 返 于 x==a 的 两 侧 , 既 不 收敛 ,也 不 发 散 。 jo /0 
进一步 的 分 析 表明 ,在 这 个 例子 中 ,za 时 | xz 
"(x) 无 界 , 因 此 1 阶 导 数 不 连 续 , 牛 顿 法 的 收敛 理 Ba | 
论 不 成 立 。 " 
可 见 ,牛顿 法 仍 有 如 下 3 方面 不 足 之 处 。 | 1 
(1) 无 法 保证 全 局 收敛 性 。 也 就 是 说 ,如 果 初 始 1?| 
解 ze 不 在 局 部 收敛 的 范围 内 ,迭代 过 程 可 能 发 散 。 -15[ 


a 0 05 10 四 2 255 50 35 4.0 
(2) 对 函数 的 连续 性 要 求 较 高 ,需要 f(z) 在 x 图 2.7 “牛顿 法 不 收敛 的 一 个 例子 


附近 有 连续 的 2 阶 导数 。 
(3) 每 步 迭 代 都 要 计算 1 阶 导数 广 (z) ,其 计算 量 可 能 较 大 ,或 根本 无 法 计算 。 


2.5 制 线 法 与 抛物 线 法 


本 节 和 2.6 节 介绍 的 几 种 方法 将 试图 对 牛顿 法 的 缺点 进行 弥补 。 
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2.5.1 割 线 法 


要 避免 计算 导数 ,一 种 最 简单 的 做 法 是 仅 在 ze 对 应 的 函数 曲线 处 做 切线 ,以 后 通过 做 
平行 弦 得 到 后 续 的 近似 解 ,如 图 2-8 所 示 。 此 方法 称 为 平行 弦 法 , 它 的 迭代 计算 公式 为 
(xy 
Pe 
但 是 ,此 方法 的 明显 缺点 是 收敛 性 较 差 ,一 般 仅 当 xo 非常 接近 准确 解 时 才 有 较 好 的 收敛 性 。 

荐 线 法 的 基本 思路 是 用 差 商 ?近似 导数 ,从 而 避免 复杂 的 导数 计算 ,利用 相 邻 两 次 迭代 
的 函数 值 做 差 商 ,得 


(k= 0,1,2,.")。 


ThH 一 


fx) fxre 》 

Tk Tl 
这 在 几何 图 形 上 就 是 函数 曲线 的 割 线 ,那么 割 线 与 横 轴 的 交点 就 是 下 一 个 近似 解 ,如 图 2-9 
所 示 。 割 线 方程 为 


f(z) 一 


Bld) = fy .hy, 


KE Tl 


XEr Xk Nel xX 


图 2-8 平行 弦 法 图 2-9 制 线 法 


求解 方程 PCz)=0, 得 到 下 一 个 近似 解 
J 
FFC 一 ae 


TH1 Xk 《一 


下 面 给 出 割 线 法 的 算法 描述 。 


算法 2.4: 解 单个 非 线性 方程 的 割 线 法 
输入 : zxo ,zi1， 函数 f(x); 输出 : z. 

& :一 1; 

While 不 满足 迭代 停止 条 件 do 


9 fre) 
0 


k:=&k 二 1; 
End 


Zz := 


(TH 


可 将 割 线 法 看 成 是 一 种 广义 的 不 动 点 迭代 法 ,定理 2. 10 说 明了 它 的 收敛 性 。 


@ 关于 差 商 的 详细 定义 见 6.5 节 。 
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定理 2. 10: 假设 f(x) 在 根 x* 的 邻 域 D:[Lz ”一 9,z 十 9] 内 具有 2 阶 连续 导数 , 且 对 任 
意 zEDD, 都 有 广 (z) 天 0, 如 果 初 值 zo。,xi ED 充分 接近 xz" , 则 割 线 法 将 按 阶 p= ~ 


1. 618 收敛 。 

这 个 定理 的 证 明 参 见 文献 [6]。 主 要 思路 是 : 首先 证 明 lim{eCxst1)/Lelz)elz-1)]) 等 
于 某 个 不 为 零 的 常数 ,这 表明 解 序列 是 局 部 收敛 的 ,而 且 速度 超 线 性 。 假 设 w=|e(zea)|/ 
[atazy |*s r 为 待 求解 的 收敛 阶 数 , 则 

le(zea)|=w le(z) | = ss |e(za)l|”, 
因此 ， 
e (Tr ) a 

e (ze)e (Ti) et) | 
当 A-~>oo 时 ,上 式 趋 于 一 个 非 零 常 数 , 则 必定 有 壮 一 * 一 1=0, 解 方程 得 "一 (1 十 V5)/2s 
1.618。 

应 当 注意 , 割 线 法 避免 了 导数 计算 ,上 且 具有 超 线 性 的 收敛 速度 ,但 它 需 要 两 个 初始 值 。 
上 面 两 种 方法 都 将 牛顿 法 中 的 导数 计算 替换 成 近似 导数 ,因此 也 被 称 为 拟 牛 顿 法 (quasi- 


Newton method) 。 
2.5.2 抛物 线 法 


割 线 法 使 用 前 两 个 近似 解 得 到 下 一 个 解 ,将 此 思路 进行 扩展 ,可 考虑 利用 前 3 个 近似 解 。 
一 般 地 ,前 3 个 解 zs zt-i1 和 zx, 及 其 对 应 的 函数 值 f(z_s)、f(z-1) 和 f(x) 可 唯一 确定 一 
个 二 次 多 项 式 , 若 将 它 看 成 原 函 数 y 二 f(z) 的 近似 , 则 求解 这 个 一 元 二 次 方程 得 到 的 根 就 可 作为 
迭代 过 程 的 下 一 个 解 。 由 于 平面 上 通过 3 个 点 的 曲线 为 抛物 线 , 由 此 导出 的 方法 称 为 抛物 线 法 。 

抛物 线 法 又 分 两 种 : 一 种 方法 是 根据 3 个 已 知 点 构造 关于 x 的 二 次 多 项 式 ( 抛 物 线 )， 
求 这 个 抛物 线 与 zx 轴 的 交点 作为 下 一 个 迭代 解 。 求 二 次 多 项 式 的 方法 一 般 用 插值 法 ,因此 
这 种 方法 称 为 二 次 插值 法 。 关 于 插值 法 的 细节 将 在 第 6 章 介 绍 ,这 里 不 做 讨论 。 

二 次 插值 法 得 到 的 抛物 线 可 能 不 与 x 轴 相 交 , 因 为 二 次 方程 未 必 有 实数 根 。 所 以 , 抛 
物 线 法 的 另 一 种 方法 是 将 这 3 个 点 插值 为 关于 y 的 二 次 函数 P,(y), 即 得 到 通过 这 3 点 的 
“ 侧 向 抛物 线 ”。 这 个 二 次 函数 P,(y) 满 足 方程 

Xz 一 P2z (CCzeaz)) 

Zi = Pa(f (ze)) ee 三 二 次 插值 

zs = Pa( f(x)) ] 
只 要 fz-s) f(za-1) 和 了 (zn) 这 3 个 值 互 不 相等 ,抛物 线 
Zz 三 Pa(y) 就 可 以 构造 出 来 ,并 且 它 一 定 与 x 轴 有 交点 
( 见 图 2-10)。 在 交点 处 ,y= 二 0, 对 应 的 xz 值 为 下 一 步 迭 代 解 

za 一 了 (0)。 图 2-10 逆 二 次 搬 值 法 求 近似 根 

这 种 方法 称 为 逆 二 次 插值 法 (inverse quadratic interpolation ) 。 
如 果 f(x-z)、fCze-1) 和 f(xx) 这 3 个 值 中 有 两 个 相等 , 逆 二 次 插值 法 将 退化 为 制 线 法 。 

理论 上 可 以 证 明 , 两 种 抛物 线 法 都 具有 超 线性 收敛 速度 ,其 共同 的 收敛 阶 Ps*1. 839( 参 
见 文献 [1])。 此 外 ,抛物 线 方法 也 是 局 部 收敛 的 ,因此 迭代 的 初始 值 须 尽量 接近 准确 解 。 


se sel | e(xe1) | Bh 攻 


1 LTX2 
1 


.ya 
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虽然 抛物 线 法 不 需要 计算 导数 , 且 收 敛 很 快 ,但 它 需 要 3 个 初始 值 ,而 且 收 敛 性 质 不 太 
稳定 (局 部 收敛 ) ,因此 往往 与 其 他 方法 结合 起 来 使 用 。 实 际 应 用 中 ,二 次 插值 法 经 过 发 展 可 
用 于 求 多 项 式 方程 的 复数 根 , 如 Muller 方法 (参见 文献 [1]) 。 而 逆 二 次 插值 法 与 其 他 方法 
结合 得 到 实用 的 zeroin 算法 ( 见 2.6.3 节 )。 


2.6 实用 的 方程 求 根 技术 


2.6.1 阻尼 牛顿 法 


当初 始 值 ze 偏离 准确 解 x* 较 远 时 ,牛顿 法 可 能 发 散 。 为 了 防止 这 种 情况 ,在 得 到 牛顿 
法 的 下 一 步 解 后 ,可 引入 一 个 阻尼 因子 缩小 解 的 改变 量 ,然后 通过 单调 性 要 求 
| FGCzea) | 二 | fx) |, k=0,1,2,° 
判断 新 的 解 是 否 可 接受 。 设 阻尼 因子 为 %;, 则 迭代 新 解 为 
Fi) 


TH 一 2 一 人 Ry (2. 20) 
这 个 方法 称 为 阻尼 牛顿 法 ,算法 描述 如 下 。 
算法 2.5: 阻尼 牛顿 法 
输入 ; xo, 函数 f(x) ; 输出 : z. 
k :=0; 
While 不 满足 迭代 停止 条 件 do 
J Wd 
7 
7 
i :=0; 
While| f(x)| 宇 |f(xi)| do 
RA { 使 用 阻尼 因子 序列 {4;) } 
i :二 i 十 1; 
End 
k :=k 十 1; 
End 
we 


算法 2. 5 使 用 了 一 个 阻尼 因子 序列 (3;) .其 中 每 个 值 都 在 (0,1), 并 按 递减 顺序 排列 。 
当 和 迭代 解 充分 靠近 准确 解 时 , 则 不 再 需要 阻尼 因子 的 调节 。 只 有 采用 值 接近 1 的 阻尼 因子 ， 
才能 保证 超 线性 的 收敛 速度 。 应 指出 ,阻尼 牛顿 法 并 不 能 完全 克服 牛顿 法 的 缺点 ,只 是 在 有 
些 情 况 下 能 取得 较 好 的 效果 。 


2.6.2 多 项 式 方 程 求 根 


本 章 大 部 分 内 容 讨论 的 都 是 求 单个 零点 的 问题 ,对 某 些 情 况 , 如 多 项 式 方程 ,有 时 我 们 
要 求 它 的 所 有 根 。 假 设 次 多 项 式 方程 为 
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PCz) 一 必 十 az 十 … 十 az 十 ao 一 0， 
其 中 最 高 次 项 的 系数 为 1。 注意, 即使 多 项 式 系数 都 是 实数 ,其 零点 也 可 能 是 复数 。 求 其 所 
有 根 的 方法 主要 有 如 下 3 类 。 

(1) 使 用 前 面 讨论 的 任何 一 种 方法 ,如 牛顿 法 或 抛物 线 法 求 出 一 个 根 zx ,然后 将 原 方程 
收缩 得 到 低 一 次 的 多 项 式 方程 P(x)/ (x 一 xi) 二 0, 对 它 重复 上 述 求 根 过 程 ,直到 求 出 所 有 
根 。 收 缩 过 程 带 来 的 舍 入 误差 会 降低 解 的 准确 度 , 因 此 可 针对 原 方程 P(x) 二 0 再 次 使 用 牛 
顿 法 等 方法 提高 解 的 准确 度 。 而 对 于 复数 根 , 采 用 抛物 线 法 等 技术 求解 。 此 外 ,在 求解 过 程 
中 往往 需要 计算 多 项 式 的 值 P(x) 和 导数 值 P'(x), 这 可 通过 秦 九 韶 算法 ( 见 算 法 1.1) 快 速 
计算 。 

(2) 根据 矩阵 特征 多 项 式 的 定义 ,将 多 项 式 方程 求 根 问 题 转换 为 矩阵 求 特征 值 的 问题 。 
根据 多 项 式 系数 ,可 定义 矩阵 


al Q2 Qn-1l an 

1 0 0 0 
C= 0 | 0 0 

0 0 sa 1 0 


和 矩阵 C, 称 为 多 项 式 P(x) 的 友 阵 (companion matrix) ,可 以 验证 矩阵 C, 的 特征 多 项 式 正 是 
P(z)。 利 用 求 矩 阵 特征 值 的 算法 可 得 到 多 项 式 的 根 。MATLAB 软件 中 的 roots 函数 就 是 
用 此 方法 求 多 项 式 方程 的 根 的 。 该 方法 非常 稳定 .可 靠 ,但 计算 量 和 存储 量 较 大 。 关 于 计算 
矩阵 特征 值 的 方法 , 见 第 5 章 。 

(3) 利用 求 多 项 式 全 部 零点 的 专门 方法 。 这 些 方法 中 ,有 些 采 用 技巧 将 多 项 式 的 根 隔 
离 在 复 平面 的 一 个 区 域内 ,然后 用 类 似 二 分 法 的 方法 对 根 进行 改进 ,还 有 一 些 收敛 更 快 的 方 
法 ,包括 拉 盖 尔 (Laguerre) 法 、 贝 尔 斯 托 (Bairstow) 法 等 。 在 某 些 情况 下 ,这些 方 法 是 求 多 
项 式 全 部 零点 的 最 有 效 的 方法 。 

在 上 述 三 类 方法 中 ,前 两 类 利用 了 已 有 的 一 些 算法 加 以 组 合 , 因 此 较 容 易 实 现 ;第 三 类 
方法 的 算法 比较 复杂 ,但 目前 已 有 一 些 比较 好 的 软件 程序 ( 见 2.7.2 节 )。 


2.6.3 通用 求 根 算法 zeroin 


本 章 前 面 讨论 的 各 种 方法 都 有 各 自 的 优 缺 点 ,对 于 一 般 的 非 线性 方程 ,能 和 否 有 一 种 通用 
的 高 效率 的 求 根 方法 呢 ? 下 面 介绍 一 个 称 为 zeroin 的 算法 , 它 由 Richard Brent 发 表 于 
1973 年 (因此 也 称 为 Brent 算法 ) 。 该 算法 将 二 分 法 的 稳定 性 和 抛物 线 法 、 割 线 法 的 快速 收 
敛 性 结合 ,是 一 种 较 通 用 、 高 效 的 求 根 算法 ,适合 于 求 单 根 的 情况 。 以 此 算法 为 基础 ， 
MATLAB 中 实现 了 针对 单 变量 连续 函数 求 根 问题 的 fzero 命令 。 

zeroin 算法 中 定义 了 a、b、c 3 个 变量 ,变量 4 表示 当前 迭代 步 的 近似 解 , 变 量 c 为 上 一 
步 的 5b, 而 变量 a 的 作用 则 是 与 4 构成 有 根 区 间 。 算 法 主要 包括 如 下 步骤 : 

(1) 选取 初始 值 a 和 4 使 得 f(a) 和 f(5) 的 正 负 号 相反 。 

(2) 将 a 的 值 赋 给 c。 

(3) 重复 下 面 的 步骤 ,直到 |f(6) | 三 ei 或 者 |a 一 b1 二 e161 ?ESE1 、E2 为 误差 控制 闽 值 。 

@ 若 /0O) 的 正 负 号 与 f(a) 的 正 负 号 相同 , 则 将 c 赋值 给 a。 

@ 若 |f(a)| 二 |f(4)|, 则 将 6 的 值 赋 给 c ,然后 对 调 c、2 的 值 。 

i 
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@ 如 果 c 关 a, 利用 a、b\c 以 及 它们 的 函数 值 做 逆 二 次 插值 法 的 一 步 迭 代 , 否 则 执行 制 
线 法 中 的 一 步 。 

@ 如 果 执 行 一 步 逆 二 次 插值 法 或 制 线 法 得 到 的 近似 解 “ 比 较 满意 ”, 将 它 赋 值 给 5, 否则 
执行 一 步 二 分 法 得 到 5, 然 后 将 上 一 步 的 5b 赋值 给 c。 

在 上 述 算法 步骤 中 ,步骤 @ 和 加 是 对 aoc 3 个 量 的 值 进行 调整 ,经 过 调整 后 使 得 : 
Fe) 和 CO) 的 正 负 号 相反 ,| (60) | 过 |f(a)|,c 为 上 一 步 的 b»。 因 此 ,变量 4 总 是 存储 最 好 
的 近似 解 , 而 f(z) 在 a 和 2 之 间 改 变 正 负 号 。 判 断 逆 二 次 插值 法 或 割 线 法 得 到 的 近似 解 是 
否 满 意 ,一 方面 要 看 它 是 否 落 在 有 根 区 间 内 , 另 一 方面 还 要 看 相 邻 迭代 解 之 差 是 否 在 缩小 。 
此 外 ,还 有 一 些 更 复杂 的 、 带 有 经 验 性 质 的 判 据 。 

以 图 2-11 中 的 f(x) 函 数 为 例 ,执行 上 述 算法 两 步 迭 代 , 看 看 a、b、c 3 个 量 如 何 变 化 。 
ao ,bo 表示 初始 的 a 和 4 的 值 ,而 初始 的 co 二 ao。 由 于 |f(a)| 二 |f(6)|, 因 此 需要 调换 a、b 
的 值 , 即 得 到 新 的 a 、b1 ,而 令 二 b。。 由 于 a 二 qi; 做 一 步 制 线 法 得 到 4b, 可 看 出 它 是 满意 
的 近似 解 ,因此 更 新 < 的 值 为 cs==b ,而 a 的 值 不 变 。 进 入 下 一 步 迭 代 , 根 据 当前 a.b、c 的 
取 值 看 出 ,不 需要 做 中 .@ 两 步调 整 ,而 由 于 c: 和 cs ,可 做 逆 二 次 插值 ,得 到 新 解 5 , 它 也 是 比 
较 “ 好 ”的 近似 解 , 因 此 接受 并 更 新 。 的 值 为 cs 一 六 。 
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图 2-11 zeroin 算法 示意 图 (ai ,bi ci 表示 每 次 经 过 调整 或 得 到 一 个 新 解 后 a、b、c 3 个 量 的 值 ) 


按 上 述 过程 可 继续 算法 的 执行 ,直到 满足 判 停 准则 。 注 意 ,本 算法 的 判 停 准则 是 残 差 判 
据 和 相对 误差 判 据 的 组 合 。 

zeroin 算法 将 方程 的 根 困 在 不 断 缩 小 的 区 间 中 ,很 稳定 ,也 兼顾 了 制 线 法 、. 逆 二 次 插值 
法 收敛 快 的 特点 。 它 的 主要 优点 如 下 。 

(1) 本 身 不 要 求 函数 f(z) 具 有 光滑 性 。 

(2) 不 需要 计算 导数 了 (zi), 只 需要 有 办 法 算出 任 一 zx 对 应 的 f(x)。 

(3) 初始 解 只 是 包含 准确 解 的 区 间 ,不 需要 和 准确 解 很 接近 。 

(4) 算法 简单 稳定 ,每 步 迭 代 都 使 有 根 区 间 缩 小 。 

最 后 给 出 实现 zeroin 算法 的 MATLAB 语言 程序 代码 中 ,其 中 一 些 细节 需要 掌握 逆 二 
次 插值 的 计算 方法 才能 理解 。 感 兴趣 的 读者 可 进一步 研究 ,并 进行 有 关 的 实验 。 


function b=fzerotx (F,ab,varargin) 

定 为 函数 句柄 或 匿名 函数 ,表示 函数 f(x) ,ab 为 初始 有 根 区 间 [a,b] ,要 求 F(a) 和 下 (pb) 的 符号 相反 
svarargin 表示 传 给 函数 下 的 额外 参数 。 返 回 值 b 为 一 个 很 小 区 间 的 端点 

g 例 子 : fzerotx (@ (x) sin (x), [1,4]) 

a=ab (1); 检查 输入 的 是 否 是 有 根 区 间 
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end; 


c=b;% 准 备 下 一 个 迭代 步 , 并 计算 F 函数 值 
fc=fb; 
if abs(d)> tol 
b=b+ d; 
else 
b=b-sign(b-a) * tol; 
end 
fb=F (b,varargin{:}); 


应 用 实例 : 城市 水 管 应 埋 于 地 下 多 深 
1. 问题 背景 与 建 模 


在 冬季 寒冷 的 大 城市 ,必须 保证 埋 于 地 下 的 水 管 干线 不 冻结 。 在 寒冷 季节 ,地 面 土壤 的 
温度 很 低 , 但 越 深入 地 下 温度 越 高 ,因此 水 管 埋 得 越 深 越 好 ,但 相应 的 施工 难度 和 代价 也 越 
大 。 那 么 ,在 保证 水 管 不 冻结 的 前 提 下 , 埋 水 管 的 深度 该 如 何 确定 呢 ? 

由 于 土壤 的 热传导 作用 ,冬季 寒流 到 来 后 地 下 土壤 的 温度 会 逐渐 降低 ,因此 它 既 是 关于 
深度 工 的 函数 ,也 是 关于 时 间 上 的 函数 。 在 越 深 的 地 方 ,土壤 温度 越 不 容易 降低 ,其 极限 温 
度 应 该 是 一 个 常量 ,表示 正常 的 土壤 温度 。 寒 流 持续 的 时 间 越 长 , 某 一 个 深度 的 土壤 的 温度 
越 低 , 其 极限 值 是 地 面 的 温度 。 基 于 上 述 分 析 , 可 以 假设 土壤 温度 T(x,1) 满 足 如 下 方程 : 


4 人 - 记 
本 2Vat )” 


其 中 ,T; 是 寒流 到 来 前 的 正常 土壤 温度 (如 20C);T, 是 寒冷 季节 的 地 面 温 度 ; 比例 


了 和 对应 该 是 一 个 0 一 1 的 数 ,t= 二 0 时 其 值 为 erftx) 上 
1,z 一 0 时 其 值 为 0。 上 述 方程 中 使 用 函数 erf() 表 到 
示 这 个 比例 ,其 函数 曲线 如 图 2-12 所 示 。 深 度 +、 05 


寒流 持续 时 间 4, 以 及 土壤 的 热传导 系数 a 都 包括 在 
函数 erf(x) 的 自 变量 中 ,此 函数 被 称 为 误差 函数 , 表 =4 -2 
达 式 如 下 : -0.5 上 


erf(x) = 人 dz， /iol 


图 2-12 误差 函数 erf(z) 的 曲线 


它 是 均值 为 0、 方差 为 1/2 的 高 斯 ( 正 态 ) 随 机 分 布 
的 积分 的 两 倍 , 当 Xx 宇 0 时 ,其 值 域 正 好 在 0 一 1 。 

基于 上 述 模型 ,可 得 到 土壤 温度 T(z:ti) 的 函数 表达 式 , 只 不 过 其 中 包含 一 个 复杂 函数 
erf(x)。 要 确定 最 合适 的 埋 水 管 深度 ,可 假设 寒冷 最 长 持续 时 间 为 1,, 由 于 0C 是 水 的 结 冰 
温度 ,那么 T(x,t) 二 0 对 应 的 工 值 就 是 所 求 的 填 埋 深度 ,因此 需求 解 非 线性 方程 


第 2 章 非 线性 方程 求 根 


VW 
T(z) SE T(t,) = T+(T, meg) 


2. 方程 求解 与 结果 

如 果 工 的 单位 是 米 (m),t 的 单位 是 秒 (s), 则 热传导 系数 a 二 0.138。10 m/s。 假设 
正常 的 土壤 温度 ;二 20'C ,寒冷 季节 地 面 温 度 ,二 一 15'C ,寒流 持续 时 间 1 为 60 天 , 则 可 
求解 上 述 非 线性 方程 。 由 于 这 个 非 线性 方程 的 解析 表达 式 很 复杂 ,因此 计算 导数 比较 困难 ， 
可 用 实用 的 zeroin 算法 求解 。 

在 MATLAB 中 ,函数 erf(z) 有 现成 的 命令 实现 , 需 自己 定 义 一 个 函数 Tso.(x) ,然后 利 
用 fzero 命令 或 者 前 面 给 出 的 fzerotx 程序 求解 它 。 

定义 函数 Tiu(z) 的 程序 如 下 ， 


function T=t pipe (x) 


s 地 下 x 米 深 处 的 土壤 温度 

m2 3 正常 土壤 温度 
Ts=-15; 寒冷 季节 地 面 温度 
tm=60; s% 赛 流 持续 天 数 
alpha=0.138e-6; 

t=tmx* 24* 60* 60; 3 将 时 间 单 位 换算 为 秒 


c=2* sqrt (alpha* t); 
T=Ts+ (Ti-Ts) * erf (x/c); 


然后 执行 如 下 命令 , 解 出 结果 。 


>>fzero(@t pipe, [0 5]) 
ans= 
0.676961854481937 


这 说 明 将 水 管 埋 于 地 下 大 约 0. 68m 深 处 最 合适 , 它 保证 在 上 述 假设 条 件 下 持续 60 天 ， 
水 都 不 会 结 冰 。 实 验 中 还 发 现 ,这 个 例子 zeroin 算法 和 迭代 了 7 步 ,各 步 中 都 使 用 了 割 线 法 和 
逆 二 次 插值 法 。 


2.7 非 线性 方程 组 和 有 关 数 值 软 件 


2.7.1 非 线 性 方程 组 


非 线 性 方程 组 的 求解 要 比 单个 非 线 性 方程 困难 。 一 方面 ,对 解 的 存在 性 、 解 的 个 数 和 收 
敛 性 的 分 析 更 加 复杂 ; 另 一 方面 , 随 着 方程 数目 增多 ,总 的 计算 量 也 迅速 增加 。 这 里 将 单个 
方程 的 解法 加 以 扩展 ,进行 简单 介绍 。 
记 一 般 的 非 线性 方程 组 为 
f(x) =0. (2..21) 
其 中 ,x€E R" ,函数 f: R" 一 R" ,0 为 n 维 零 向 量 。 对 于 这 个 求 多 维 空间 解 向 量 的 问题 ,不 动 
点 迭代 法 和 牛顿 法 仍然 是 可 行 的 办 法 。 


假设 方程 (2. 21) 经 过 等 价 变换 得 到 
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X= g(x), 
其 中 ,函数 g: R" 一 R" , 则 相应 的 不 动 点 迭代 法 计算 公式 为 
Xe 一 SCOxe)。 (222) 


对 单个 方程 (2 一 1 的 情况 ), 不 动 点 迭代 法 的 (局 部 ) 收 敛 性 主要 由 |g (z* ) | 决定 ( 定 
理 2.6)。 对 于 非 线 性 方程 组 ,收敛 性 与 函数 g 的 雅 可 比 (Jacobi) 矩 阵 有 关 。 
定义 2.4: 令 J,(x) 表 示 nn 维 多 元 函数 g: R" 一 R" 的 雅 可 比 矩 阵 , 它 是 一 个 nXn 维 矩 
阵 , 它 的 元 素 值 为 
ggi(x) 
az 
其 中 ,gi;(x) 为 n 维 多 元 函数 g 的 第 i 个 分 量 。 
从 定义 2.4 可 以 看 出 , 雅 可 比 矩 阵 依赖 于 具体 的 x 值 。 一 般 考查 的 都 是 x 二 x* ,x* 为 
方程 (2. 21) 的 准确 解 的 情况 。 下 面 的 定理 说 明了 不 动 点 迭代 法 的 收敛 性 与 雅 可 比 和 矩阵 
Jr ) 之 间 的 关系 。 
定理 2.11: 对 于 求解 非 线性 方程 组 的 不 动 点 迭代 法 wsr=gCm) , 若 相 应 的 雅 可 比 矩 阵 
Jecxr ) 的 任意 特征 值 4 都 满足 | 过 1, 则 当初 始 解 向 量 充分 接近 准确 解 时 ,不 动 点 迭代 法 
收敛 (局 部 收敛 ) 。 
定理 的 证 明 超出 了 本 书 的 范围 ,这 里 不 做 介绍 。 应 用 定理 2. 11 时 并 不 需要 计算 出 所 有 
的 特征 值 ,更 多 讨论 见 第 5 章 。 另 外 需要 说 明 的 是 ,与 单个 方程 的 情况 一 样 , 雅 可 比 矩 阵 的 
特征 值 越 小 ,迭代 收敛 的 速度 越 快 。 
作为 一 种 特殊 的 不 动 点 迭代 法 ,下 面 讨论 牛 顿 法 求解 非 线性 方程 组 的 计算 公式 。 对 于 
可 微 函数 f: R" 一 R" ,可 在 任意 一 点 x 处 进行 1 阶 泰勒 展开 的 近似 : 
fxs) SCx) 十 JrCx)s， 
其 中 ,JCxz) 是 的 雅 可 比 矩 阵 。 考 查 x* 一 xx 的 情况 , 则 线性 方程 
COx) 十 JrCx)s 一 0， 《2255 
近似 于 方程 f(x 十 s) = 二 0, 由 方程 (2. 23) 的 解 可 得 到 原 方程 (2. 21) 的 近似 解 
Xi = Xs = x — [I(x)] f(x), 
这 个 过 程 重 复 进行 , 即 可 得 到 牛顿 法 求解 非 线性 方程 组 的 算法 。 


{Js(x)}s; = (i,j = 1,2,.%,n), 


算法 2.6: 解 非 线 性 方程 组 的 牛顿 法 
输入 : xo wn 维 多 元 函数 f(x); 输出 : x. 
k:=0; 
While 不 满足 收敛 条 件 do 
解 线 性 方程 组 J (xi)ss = 二 fx) , 求 $3 
hf 
k :一 A 十 1; 
End 


= 


例 2.9( 牛 顿 法 解 非 线 性 方程 组 ): 用 牛顿 法 解 非 线性 方程 组 
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三 让 bo | 
Ts | ol 
【 解 】 方程 组 的 雅 可 比 矩 阵 为 


万 (9 | ee | 
光一 ¥ 
2 8x 


0 
| 


Ji(xo)so = So 一 = f(xo) 
Xo js » 
f\XoJsSo 0 0 


得 so 二 [1,83,0.58]', 因 此 ， 


上 | po [ ] Py | 1 2 | 
X1 一 Xo 一 So 一 ， Xi ) 一 ， Xi ) 一 机 
Sm 1. 42 4.72 I = Ys 


解 方程 组 Jj(xi)si 二 f(x1), 可 得 si 二 [一 0.64,0.32]', 因 此 ， 


| se a | 了 | 1 2 ] 
0 


继续 这 个 迭代 过 程 ,有 x 二 [一 0.02,1.01j7,x 二 [一 0.00,1.00]7, 已 收敛 到 准确 解 x* 
E9053]: 

与 单个 方程 的 情况 相 比 , 求 解 非 线性 方程 组 的 牛顿 法 也 具有 类 似 的 优点 ,但 它 每 步 迭 
代 ,都 需要 求解 线性 方程 组 , 当 交 较 大 时 ,计算 量 非常 大 。 为 了 提高 计算 效率 和 保证 稳定 的 
收敛 ,可 以 将 拟 牛顿 法 .阻尼 牛顿 法 等 技术 推广 到 多 维 情况 ,这 里 不 再 详细 讨论 。 

另外 应 说 明 的 是 ,求解 单个 非 线性 方程 的 方法 并 不 都 能 推广 到 非 线性 方程 组 ,因此 牛顿 
法 及 其 改进 方法 成 为 求解 非 线 性 方程 组 的 主要 方法 。 


2.7.2 非 线 性 方程 求 根 的 相关 软件 


求解 非 线性 方程 FCz)=0 的 软件 一 般 需要 使 用 者 提供 计算 函数 值 fCz) 的 程序 .有 根 
区 间 的 端点 值 或 解 的 初始 值 ,以 及 迭代 过 程 停止 所 需 的 控制 阔 值 。 程 序 执行 后 的 输出 数据 
除了 解 外 ,往往 还 包含 一 个 说 明 状 态 信息 (成 功 ,警告 或 错误 ) 的 标志 。 在 实际 问题 中 , 非 线 
性 方程 组 是 常常 遇 到 的 ,因此 很 多 软件 /程序 包 也 支持 对 非 线性 方程 组 的 求解 。 此 时 ,输入 
数据 还 要 包括 方程 组 中 方程 和 自 变 量 的 个 数 , 有 时 还 包括 计算 函数 雅 可 比 矩阵 的 程序 。 

表 2-3 列 出 了 求解 一 般 非 线性 方程 (组 ) 的 程序 ,其 中 非 线性 方程 组 的 求解 程序 根据 是 
和 否 需 要 用 户 提供 雅 可 比 和 矩阵 计算 程序 分 为 两 类 。 这 些 程序 大 多 数 都 可 以 通过 互联 网 免费 获 
得 ,除了 在 第 1. 1 节 介 绍 过 的 ,其 他 可 在 Netlib 网 站 上 找到 。 

表 2-4 列 出 了 一 些 用 于 求解 实 系数 或 复 系 数 多 项 式 所 有 零点 的 特殊 程序 。 

MATLAB 中 求解 一 般 非 线性 方程 和 方程 组 的 命令 是 fzero 和 fsolve, 它 们 的 输入 都 包 
括 待 求解 的 方程 以 及 初始 解 。 方 程 的 信息 通过 函数 f(z) 表 示 ,MATLAB 中 表示 函数 的 方 
法 有 两 种 : m- 文 件 和 匿名 函数 @。 使 用 @ 可 方便 地 定义 较 简 单 , 具 有 表达 式 的 函数 f(x)， 
具体 的 使 用 方法 请 参考 联机 帮助 文档 。 初 始 解 可 以 是 一 个 有 根 区 间 ,也 可 以 是 单个 解 。 另 

s 


取 x 二 [1,2J7, 则 


解 方 程 组 
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表 2-3 求解 非 线性 方程 的 程序 


单个 方程 方 程 组 
软件 /程序 包 a E 
不 需要 导数 不 需要 雅 可 比 矩 阵 需要 雅 可 比 矩 阵 
FMM zeroin 
HSL nb01/nb02 nsll 
MATLAB fzero fsolve 
MINPACK hybrd1 hybrjl 
NAPACK root quasi 
NR zbrent broydn newt 
SLATEC fzero snsq/sos 
TOMS zerol (#631) brentm (#554) tensolve (#768) 
表 2-4 求解 多 项 式 所 有 零点 的 程序 
软件 /程序 包 实 系数 复 系 数 软件 /程序 包 实 系数 复 系数 
HSL pal7 NUMERALGO polzerosCnal0) 
MATLAB Toots roots SLATEC rpzero/rpqr79 cpzero/cpqr79 
NAPACK czero TOMS rpoly (#493) cpoly (#419) 
NR zrhqr zroots 


外 ,通过 输入 选项 参数 还 可 以 控制 输出 的 结果 信息 ,了 解 迭 代 过 程 中 每 步 的 方法 和 近似 解 。 
MATLAB 中 求解 多 项 式 方程 的 命令 是 roots, 它 的 输入 比较 简单 ,是 用 数组 表示 的 降 次 排 
列 的 多 项 式 系数 ,程序 的 输出 结果 就 是 多 项 式 方程 的 所 有 根 。 


评 述 


本 章 讨 论 的 方法 除 二 分 法 和 zeroin 算法 外 ,都 只 具有 局 部 收敛 性 。 还 有 一 些 具 有 全 局 
收敛 保证 的 方法 ,如 同 伦 算法 或 连续 算法 , 它 将 问题 空间 参数 化 ,跟踪 从 平凡 的 易 求 解 问题 
到 所 求 问 题 的 解 曲线 ,以 达到 所 需 的 解 。 这 些 方法 主要 用 于 求解 很 难得 到 初始 解 的 复杂 非 
线性 问题 。 感 兴趣 的 读者 可 参考 : 

*。 W. Forster,“Homotopy methods,” in Handbooks of Global Optimization, pp. 

669-750, Boston: Kluwer.1995. 
*。 E.L.Allgower, and K. Georg “Continuous and path following,” Acta Numerica, 
Vol 2 ,pp. 1-64,1993. 

实现 这 些 方法 的 软件 包括 TOMS #555 (fixpt)、#617 (defne) 、#777 (hompack)。 另 
一 种 方法 是 “广义 二 分 法 ”, 它 基于 区 间 方 法 求解 非 线性 方程 组 ,实现 的 程序 是 TOMS 的 
# 666(chabis) 和 #681(intbis) 。 感 兴趣 的 读者 可 参考 : 

。 A. Neumaier, Interval Methods for Systems of Equations, New York: Cambridge 
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University Press,1990. 

此 外 ,zeroin 算法 是 求 单个 方程 单 根 的 有 效 方法 ,但 对 于 求 重 根 的 情况 , 它 或 者 找 不 到 有 
根 区 间或 者 效率 很 低 。 对 于 求 重 根 的 问题 ,直接 使 用 牛顿 法 (或 割 线 法 .抛物 线 法 ) 只 能 取得 线 
性 收敛 速度 ,因此 需要 一 些 特殊 的 技术 。 例 如 ,文献 [38] 介 绍 了 一 种 做 变换 的 方法 , 它 将 求 重 
根 的 问题 转换 为 求 另 一 个 方程 的 单 根 的 问题 ,然后 再 使 用 牛顿 法 求解 ,可 大 大 提高 收敛 速度 。 

对 于 非 线性 方程 组 求解 问题 ,为 了 避免 牛顿 法 中 的 求 导 计 算 ,往往 采用 类 似 割 线 法 的 思 
想 进行 偏 导数 的 近似 计算 。 另 外 ,为 了 避免 每 个 迭代 步 都 求解 雅 可 比 矩 阵 为 系数 的 线性 方 
程 组 ,只 对 近似 雅 可 比 矩 阵 的 分 解 进行 修改 。 这 类 方法 称 为 割 线 修正 法 ,其 应 用 广泛 。 最 简 
单 ` 有 效 的 割 线 修 正法 之 一 是 Broyden 方法 。 对 它 的 详细 介绍 见 下 面 的 文献 ; 

*。 C.G. Broyden, A class of methods for solving nonlinear simultaneous equations, 

Mathematics of Computation ,Vol 19,No. 92,pp. 577-593 ,1965. 
。 J.E.Dennis,and J.J. More,Quasi-Newtion methods,motivation and theory, SIAM 
Review, Vol 19 ,pp. 46-89 ,1977. 

非 线性 方程 求 根 问题 与 最 优化 问题 ( 非 线 性 规划 问题 ) 在 很 多 方面 是 类 似 的 ,它们 的 解 
法 通常 都 采用 迭代 法 ,通过 一 系列 迭代 步 使 解 迅 速 收敛 到 问题 的 准确 解 。 因 此 ,本章 讨论 的 
很 多 方法 ,如 牛顿 法 、 割 线 法 等 都 被 用 于 求解 最 优化 问题 。 本 书 不 讨论 最 优化 问题 的 解法 ， 
感 兴趣 的 读者 可 参考 文献 [1] 以 及 其 他 专门 讨论 最 优化 方法 的 书籍 。 

【本 章 知识 点 】 二 分 法 ;二 分 法 的 迭代 次 数 ;二 分 法 结果 准确 度 的 极限 情况 ;不 动 点 夫 
代 法 ;不 动 点 迭代 法 全 局 收敛 的 充分 条 件 ;局 部 收敛 ;局 部 收敛 的 充分 条 件 ; 收 敛 阶 的 确定 ， 
牛顿 法 ;迭代 法 的 判 停 准则 ; 割 线 法 :抛物线 法 的 思想 :阻尼 牛顿 法 的 思想 ;通用 求 根 算法 
zeroin 的 思想 ;利用 MATLAB 求解 非 线 性 方程 ; 非 线 性 方程 组 的 雅 可 比 和 矩阵 ; 解 非 线性 方 
程 组 的 牛顿 法 。 


算法 背后 的 历史 : 牛顿 与 牛顿 法 


艾 萨 克 。 牛 顿 (Isaac Newton,1643 年 1 月 4 日 一 1727 年 3 月 20 日 , 见 图 2-13) 是 英国 
伟大 的 数学 家 、 物 理学 家 、 天 文学 家 和 自然 哲学 家 ,其 研究 领域 包括 物理 学 、 数 学 天 文学 、 神 
学 、 自 然 哲 学 和 炼金 术 。 牛 顿 被 誉 为 人 类 历史 上 最 伟大 、 最 有 影响 力 的 科学 家 。 为 了 纪念 牛 
顿 在 经 典 力学 方面 的 杰出 成 就 “牛顿 ”后 来 成 为 衡量 力 的 大 小 的 物 
理 单 位 。 

牛顿 于 1643 年 1 月 4 日 生 于 英格兰 林肯 性 格 兰 瑟 姆 附近 的 活 
尔 索 普 村 ,1661 年 入 英国 剑桥 大 学 圣 三 一 学 院 ,1665 年 获 文学 士 学 
位 。 随 后 两 年 他 在 家 乡 躲 避 和 鼠疫 ,在 此 期 间 制 定 了 一 生 大 多 数 重 要 
科学 创造 的 蓝图 。1667 年 ,牛顿 回 剑桥 后 当选 为 剑桥 大 学 三 一 学 院 
院 委 ,次 年 获 硕士 学 位 。1669 年 任 剑 桥 大 学 卢 卡 斯 数学 教授 席位 直 
2 到 1701 年 。1696 年 任 皇 家 造 币 厂 监督 ,并 移居 伦敦 。1703 年 任 英国 
图 2-13 牛顿 皇家 学 会 会 长 。1706 年 受 英国 女王 安妮 封 兽 。 晚 年 ,牛顿 潜心 于 自 
然 哲 学 与 神学 。1727 年 3 月 20 日 ,牛顿 在 伦敦 病逝 ,享年 84 岁 。 
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牛顿 的 主要 贡献 : 

。 二 项 式 定 理 ; 

。 创建 微 积分 ; 

。 方程 论 与 变 分 法 (牛顿 法 ); 

。 牛顿 运动 定律 ; 

。 光学 上 的 贡献 ; 

。 构筑 力学 大 厦 。 

关于 牛顿 法 

早 在 1665 年 ,牛顿 就 使 用 了 与 割 线 法 等 价 的 方法 。1669 年 ,他 提出 与 现在 的 牛顿 法 类 似 
的 方法 ,但 其 中 并 没有 使 用 导数 ,而 是 基于 二 项 式 展 开 , 并 且 针 对 的 是 多 项 式 方程 。1690 年 ， 
拉 弗 森 (Raphson) 对 牛顿 法 作 了 简化 和 改进 ,因此 该 方法 也 常 被 称 为 牛顿 - 拉 弗 森 方法 。 在 
牛顿 法 中 使 用 导数 是 由 辛普森 (Simpson) 于 1740 年 提出 的 ,他 还 将 这 种 方法 从 单个 方程 问 
题 推广 到 非 线 性 方程 组 问题 ,这 就 是 我 们 现在 使 用 的 牛顿 法 。 后 来 , 拉 格 朗 日 和 傅 里 叶 等 人 
简化 了 牛顿 法 的 表达 式 , 也 进行 了 一 些 推广 ,但 将 辛普森 的 贡献 遗忘 掉 了 ,只 留 下 与 该 方法 
有 关 的 牛顿 和 拉 弗 森 的 名 字 。 事 实 上 ,辛普森 在 牛顿 法 中 的 贡献 可 能 要 比 他 在 数值 积分 方 
法 辛普森 法 ( 见 第 7 章 ) 中 的 贡献 还 大 。 

牛顿 名 言 

。 如 果 说 我 比 别 人 看 得 更 远 些 , 那 是 因为 我 站 在 巨人 肩 上 的 缘故 。 

。 无 知识 的 热心 ,犹如 在 黑暗 中 远征 。 

。 我 的 成 就 ,当归 功 于 精微 的 思索 。 

。 你 若 想 获得 知识 ,你 该 下 苦 功 ;你 若 想 获得 食物 ,你 该 下 苦 功 ;你 若 想得到 快乐 ,你 也 

该 下 苦 功 ,因为 辛苦 是 获得 一 切 的 定律 。 

。 聪明 人 之 所 以 不 会 成 功 ,是 由 于 他 们 缺乏 坚韧 的 毅力 。 

。 胜利 者 往往 是 从 坚持 最 后 五 分 钟 的 时 间 中 得 来 成 功 。 

。 我 不 知道 世人 怎样 看 我 ,但 我 自己 以 为 我 不 过 像 一 个 在 海边 玩 要 的 孩子 ,不 时 为 发 

现 比 寻常 更 为 美丽 的 贝克 而 沾沾自喜 。 


练 习 题 


1. 为 求 方程 x 一 x 一 1 二 0 在 xo 二 1.5 附近 的 一 个 根 ,将 方程 改写 成 下 列 等 价 形式 ,并 
建立 相应 的 迭代 公式 。 

(1) z=1 十 1/z? ,迭代 公式 mh 一 1 十 1/ 奏 。 

(2) zz 一 1/(z 一 1) ,迭代 公式 zt 一 1/ Vrs 一 1。 

(3) zx’=1 二 zx? ,迭代 公式 kt+1 一 Lk o 

试 分 析 每 个 迭代 公式 的 全 局 收敛 性 , 即 是 否 存 在 某 个 定义 域 的 区 间 其 全 局 收 和 敛 , 该 定义 
区 间 是 什么 ? 选取 一 个 公式 求 出 具有 4 位 有 效 数 字 的 近似 根 。 

2. 给 定 函 数 F(z) , 设 对 一 切 +,f (zx) 存在 且 0 二 m 壹 (zx) 过 M;, 证 明 对 于 0<4 一 说 的 
任意 定数 ,迭代 过 程 zp;1 三 ZX4 一 Af(zx) 均 收敛 于 (a=0 的 根 x*。 

二， 


第 2 章 非 线 性 方程 求 根 


3. 研究 求 Va 的 牛顿 迭代 公式 
TH 一 到 (二 + 二 ) Wo > 0s 


证 明 对 一 切 & 一 1,2,…,z 志 Va 且 序列 zi,zz,… 是 递减 的 。 
4. 应 用 牛顿 法 与 方程 如一 上 一 0, 导 出 求 立方 根 V& 的 选 代 公式 ,并 讨论 其 局 部 收敛 性 。 
5. 证 明和 迭 代 公 式 
Xi(X? 二 3a) 
3zk 十 a 


是 计算 Va 的 3 阶 方法 。 假 定 初 值 ze 充分 靠近 根 x* , 求 
lim(Wa — ze)/ (Va — ze)’。 


TtH 一 


6. 证 明 式 (2.11) 。 
7. 若 函 数 f(x) 满足 2 阶 导数 连续 ,证 明和 牛顿 法 在 局 部 收敛 范围 内 的 误差 满足 : 
lim el(xan) _ fr) 


mo el(xa): 2f (rz) 
其 中 z* 为 方程 f(x)==0 的 单 根 。 


k 
8. 证 明定 理 2.4 的 结论 : |z 一 x | 六 |z1 一 zo1。 


9. 用 下 列 方法 求 { (x+) 二 x 一 3+ 一 1 二 0 在 xo 二 2 附近 的 根 。 根 的 准确 值 x* = 
1. 879 385 24… ,要 求 计算 结果 有 4 位 准确 的 有 效 数字 。 

(1) 用 牛顿 法 。 

(2) 用 割 线 法 , 取 ze 一 2,zi 一 1.9。 

10. 分 别 用 二 分 法 和 牛顿 法 求 zx 一 tanz=0 的 最 小 正 根 ,要 求 计算 结果 有 4 位 准确 的 有 
效 数字 。 


上 机 题 


1. 对 于 方程 
JCz) 一 性 一 3z 十 2 一 0 
可 以 有 以 下 多 种 不 动 点 迭代 方式 ， 


2 
wz) 一 工 寺 二 ， 
p(X) = V3z 一 2， 

误区 二 宛 
mmGz) 王 3 

_ x:—2 
p(X) = p73° 


(1) 对 于 根 x 二 2, 通 过 |g1(2)|,(i 二 1,2,3,4) 分 析 各 个 算法 的 收敛 特性 。 

(2) 用 程序 验证 分 析 的 结果 。 

2. 编程 实现 阻尼 牛顿 法 。 要 求 : 四 设 定 合适 的 阻尼 因子 初始 值 ie 及 迭代 判 停 准则 ; 
。 59 。 
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@ 阻 尼 因 子 4 用 逐次 折 半 法 更 新 ; @ 打 印 每 个 迭代 步 的 最 终 4 值 及 近似 解 ; @ 请 用 其 他 方 
法 (如 fzero 函数 ) 验 证 结果 ,并 考虑 采用 阻尼 与 不 采用 阻尼 算法 的 效果 差别 。 用 所 编程 序 
(1) zx’ 一 x 一 1==0, 取 zo 二 0. 6。 
(2) 一 x 十 5z= 二 0, 取 xo= 二 1. 35。 
3. 利用 2. 6. 3 节 给 出 的 fzerotx 程序 ,在 MATLAB 中 编程 求 第 一 类 的 零 阶 贝 塞 尔 函 
数 Ju(z) 的 零点 。Ju(z) 在 MATLAB 中 通过 命令 besselj (0,z) 得 到 。 试 求 J。(x) 的 前 
10 个 正 的 零点 ,并 绘 出 函数 曲线 和 零点 的 位 置 。 
4. 编程 求解 非 线性 方程 组 
(zi 十 3)( 邓 一 7) 十 18 一 0 
sin(zzen 一 1) 王 0 


初始 解 xo = 二 [一 0. 5,1.4]7。 
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线性 方程 组 (linear equation system) 可 写成 如 下 形式 : 


QuTzi 二 ayzZzz 十 … 十 ainz» 一 


aa2lZl 十 aazZz 十 … 十 aanZn 二 bz 


amlZl 十 an2Z2 十 … 十 amzZn 二 bm 
其 中 包含 mw 个 方程 n 个 未 知 量 (zi ,zo，… ,Xx,)。 若 mm 之 n, 则 这 种 线性 方程 组 称 为 超 定 
方程 组 ,一 般 没 有 解 ,但 可 求 出 最 小 二 乘 解 , 详 见 第 6 竟 有 关 线 性 最 小 二 乘 的 内 容 。 若 
m 二 n, 则 线性 方程 组 一 般 有 无 穷 多 个 解 , 实 际 应 用 中 常 将 它 与 其 他 约束 条 件 一 起 考虑 ， 
构成 一 个 约束 优化 问题 , 它 超出 了 本 书 的 讨论 范围 。 当 m= 二 n 时 ,这 是 常见 的 线性 方程 
组 求解 问题 , 记 为 
Ax = b, C9 1 
其 中 ,A 是 一 个 nxXn 维和 矩阵 , 称 为 系数 矩阵 (coefficient matrix);x 为 n 维 向 量 , 称 为 解 向 
量 ;b 为 n 维 向 量 , 称 为 右 端 向 量 或 右 端 项 (right-hand side)。 本 章 主 要 考虑 m= 二 nn 的 情况 ， 
并 且 假 设 和 矩阵 4 为 实数 和 矩阵) 为 实数 向 量 , 因 此 待 求 的 x 也 是 实 向 量 。 
除了 很 多 应 用 问题 可 直接 转换 为 线性 方程 组 求解 问题 外 ,本 书 其 他 章节 的 数值 计算 问 
题 也 常 归 结 为 线性 方程 组 的 求解 。 例 如 ,第 2 章 讨 论 非 线性 方程 组 求解 时 ,算法 2.6 就 包含 
了 对 线性 方程 组 求解 的 步骤。 本 章 介绍 线性 方程 组 的 直接 解法 以 及 有 关 的 几 种 矩阵 分 解 方 
法 。 所 谓 直接 解法 ,就 是 理论 上 经 过 有 限 步 计算 能 得 到 准确 解 的 方法 。 第 4 章 介 绍 线性 方 
程 组 的 迭代 解法 。 


3.1 基本 概念 与 问题 的 敏感 性 


线性 方程 组 的 求解 问题 与 矩阵 的 关系 密切 ,无论 是 理论 分 析 , 还 是 实际 的 算法 设计 ,都 
需要 使 用 矩阵 这 一 工具 。 本 节 先 对 线性 代数 中 的 一 些 基 本 概念 和 结果 进行 复习 ,然后 介绍 
向 量 与 矩阵 的 范 数 ,最 后 讨论 线性 方程 组 求解 问题 的 敏感 性 。 


3.1.1 线性 代数 中 的 有 关 概 念 


1. 解 的 存在 性 与 唯一 性 

下 面 首先 给 出 最 基本 的 单位 阵 和 零 向 量 的 定义 ,然后 给 出 线性 无 关 和 线性 相关 的 定义 。 

定义 3.1: (1) 分 量 都 为 0 的 向 量 称 为 零 向 量 , 记 为 0. 分 量 都 为 0 的 矩阵 称 为 零 和 矩阵 ， 
记 为 0。 

(2) 仅 主 对 角 线 上 元 素 均 为 1, 其 他 元 素 均 为 0 的 矩阵 称 为 单位 阵 (identity matrix) , 通 
常 记 为 I。 

定义 3.2: 设 向 量 x ,xs,… .xm ER" ,如 果 存 在 不 全 为 零 的 数 wm ,wm ,… ,a,,€ R ,使 得 
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axl 十 azxz 十 十 cx 一 0， (3.2) 
则 称 向 量 xz ,xz ,… ,x。 线性 相关 ,否则 , 若 式 (3.2) 只 有 当 a 二 @s 二 … 二 a 二 0 时 成 立 , 则 称 
1 9X2，""* ,Xm 线性 无 关 。 

线性 方程 组 Ax==b 的 解 的 个 数 与 系数 和 矩阵 A 是 否 为 奇异 矩阵 有 关 , 下 面 的 定理 给 出 了 
判断 矩阵 奇异 性 的 依据 。 

定理 3.1: 设 和 矩阵 4ER", 若 它 满足 下 列 等 价 条 件 之 一 : 

(1) 存在 逆 和 矩阵 4 , 即 存在 一 个 矩阵 , 记 为 4 ,满足 44 一 一 4 4 一 T。 

(2) det(4) 和 天 0, 其 中 ,det(4) 表 示 A 的 行列 式 (determinant)。 

(3) 4 的 秩 rank(4) 二 nx (和 矩 阵 的 秩 为 其 包含 的 线性 无 关 的 行 或 列 的 最 多 个 数 )。 

(4) 对 任意 向 量 < 隆 0, 有 Az 取 0。 
则 矩阵 A 为 非 奇 异 和 矩阵 (nonsingular matrix) ,否则 为 奇异 拭 阵 (singular matrix) 。 

定理 3. 2 说 明了 线性 方程 组 解 的 存在 性 与 唯一 性 。 

定理 3.2: 设 矩 阵 4ER“"， 

(1) 若 A 为 非 奇 异 和 矩阵 , 则 方程 组 Ax 二 b 有 唯一 的 解 x= 二 A-!'b。 

(2) 若 A 为 奇异 矩阵 ,上 且 bE span(A), 集 合 span(A) 表 示 A 的 各 个 列 向 量 张 成 的 线性 
空间 , 则 方程 组 Ax==b 有 无 穷 多 个 解 。 

(3) 若 4 为 奇异 矩阵 , 且 bspan(A4), 则 方程 组 Ax==b 没有 解 。 

2. 有 关 和 矩阵 的 基本 知识 

下 面 首先 给 出 几 种 特殊 类 型 矩阵 的 定义 ,然后 给 出 顺序 主子 式 的 定义 ,并 讨论 对 称 正 定 
答 阵 的 性 质 。 

定义 3.3: 设 和 矩阵 4=(ap)ER", 则 和 矩阵 4 为 

(1) 对 角 矩 阵 (diagonal matrix) , 当 ;天 ) 时 ,or 一 0。 

(2) 三 对 角 矩 阵 (tridiagonal matrix) , 当 |i 一 j| 之 1 时 ,oz 一 0。 

(3) 上 三 角 矩 阵 (upper triangle matrix) , 当 ;二 ) 时 ,ay 一 0。 

(4) 下 三 角 和 矩阵 (lower triangle matrix) , 当 i<j 时 ,a; 二 0。 

(5) 对 称 和 矩阵 (symmetric matrix) ,如 果 A 二 A. 则 AT 为 矩阵 4 的 转 置 (transpose) 。 

(6) 对 称 正 定 和 矩阵 (symmetric positive definite matrix) ,如 果 4I 王 4, 上 且 对 任意 非 零 向 
量 xER", 则 二 次 型 xT4Ax 二 0。 

(7) 对 称 半 正定 和 矩阵 (symmetric positive semidefinite matrix) ,如 果 4I 一 4, 上 且 对 任意 
非 零 向 量 xER", 则 二 次 型 xTAx 宇 0。 

(8) 正 交 和 矩 阵 (orthogonal matrix) ,A ! 二 AT。 

定义 3.3 中 ,前 4 种 矩阵 中 包含 较 多 的 零 元 素 ,属于 稀疏 答 阵 (sparse matrix) ,它们 的 
非 零 元 素 分 布 情况 如 图 3-1 所 示 ( 假 设 n=4)。 在 图 3-1 中 ,用 “XxX” 标记 非 零 矩 阵 元 素 的 位 
置 , 按 此 方式 得 到 的 和 矩阵 图 示 也 称 为 矩阵 的 威 尔 金 森 图 (Wilkinson graph)。 容 易 看 出 ,对 
角 和 矩阵 的 道 矩 阵 (inverse matrix) .若干 对 角 和 矩阵 的 乘积 仍 为 对 角 和 矩阵 ,上 (下 ) 三 角 和 矩阵 的 
逆 和 矩阵 .若干 上 (下 ) 三 角 和 矩阵 的 乘积 仍 为 上 (下 ) 三 角 和 矩阵 。 另 外 ,通常 称 对 角 线 元 素 均 为 1 
的 上 (下 ) 三 角 矩 阵 为 单位 上 (下 ) 三 角 和 矩阵。 
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x x Xx 荡 ” 基 有关 x 
x 站， 江 x x Xx x x 
xX xX x x x x Xx 
,4 x Xx x x x x x 
(a) 对 角 乞 阵 (b) 三 对 角 和 矩阵 (c) 上 三 角 和 矩阵 (d) 下 三 角 和 矩阵 


图 3-1 矩阵 的 威 尔 金森 图 


定义 3. 3 中 的 其 余 4 种 矩阵 可 能 是 稀 政 矩阵 ,也 可 能 是 稠密 答 阵 。 对 于 正 交 和 矩阵 A, 它 
的 转 置 A" 也 是 正 交 和 矩阵, 并且 它 的 行 向 量 、 列 向 量 各 自 构成 维 向 量 空 间 的 一 组 单位 正 交 
基 向 量 。 

定义 3.4: 设 和 矩阵 4=(o)ER””", 则 矩阵 4 的 & 阶 顺序 主子 阵 为 


并 且 顺 序 主子 阵 的 行列 式 det(A1),(k 二 1,2,…,n) 称 为 顺序 主子 式 。 
从 定义 3.4 看 出 ,n 阶 顺 序 主子 阵 A, 二 A4, 而 1 阶 顺序 主子 阵 就 是 一 个 数 
定义 3.5: 设 和 矩阵 A 二 (aj) € R"”", 若 存在 数 4( 实 数 或 复数 ) 和 非 零 向 量 x=[xi， 
zz]( 实 向 量 或 复 向 量 ) ,使 


dllo 


Ax = i， 
则 称 4 为 A 的 特征 值 (eigenvalue) ,x 为 对 应 的 A 的 特征 向 量 (eigenvector)。 

由 定义 3.5 知 ,矩阵 4 的 特征 值 4 为 特征 方程 

det(X[ —A)=0 (3.3) 

的 解 。 由 于 式 (3. 3) 为 郊 次 代数 多 项 式 方程 ,因此 矩阵 4 一定 有 ?2 个 特征 值 (mm 重 特征 值 计 
为 m 个 ), 并 且 特 征 值 可 能 是 复数 。 

定理 3.3: 设 AER” 为 对 称 矩 阵 , 则 

(1) A 的 特征 值 4;，(i 二 1,2,3,…,n) 均 为 实数 。 

(2) 对 于 4, 存在 实 特征 向 量 q1 ,9;,… ,gq, 为 R" 空 间 的 一 组 单位 正 交 基 , 即 
fi i¥j 


qfq; = 


(3) 可 将 矩阵 4 做 特征 值 分 解 : 


i 


A = QAQ0", 

其 中 ,A 为 对 角 和 矩阵 ,对 角 线 元 素 为 4 的) 个 特征 值 ,Q 为 正 交 给 阵 , 且 它 的 列 向 量 qi， 
qz，… ,qn 为 A 的 个 特征 向 量 (排列 顺序 与 A 中 特征 值 的 顺序 对 应 ) 。 

定理 3.4: 设 4ER“ "为 对 称 半 正 定 矩 阵 , 则 除了 满足 定理 3. 3 的 结论 外 ,有 特征 值 
Ai0, (i=1,2,3,.,n)。 

定理 3.5: 设 4ER2” "为 对 称 正 定 和 矩阵 , 则 除了 满足 定理 3. 3 的 结论 外 ,还 满足 

(1) A 为 非 奇异 矩阵 , 且 4 一 也 是 对 称 正 定 矩 阵 。 

(2) A 的 特征 值 M, 盖 0，(i 一 1.2.…,7)。 

(3) 记 Ai，(k 二 1,2,3,…,n) 为 4 的 顺序 主子 阵 , 则 A 也 是 对 称 正 定 矩 阵 , 且 
det(A1)>0。 
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3.1.2 向 量 范 数 与 矩阵 范 数 


三 维 空间 中 向 量 的 长 度 也 称 为 向 量 的 模 或 范 数 ,将 其 进行 推广 ,我 们 对 一 般 的 维 向 量 
可 以 定义 范 数 的 概念 。 本 节 介 绍 的 向 量 和 和 矩 阵 范 数 的 概念 ,对 于 分 析 线 性 方程 组 求解 问题 
的 误差 非常 重要 。 

定义 3.6: 记 上 x| 为 向 量 xER" 的 某 个 实 值 函 数 , 若 它 满足 条 件 : 

(1) 对 WER" ,上 x| 宇 0, 当 且 仅 当 x=0 时 , xj| = 二 0; (正定 条 件 ) 

(2) 对 YER, loxrl|=|lal | x); 

(3) 对 Ve,yER", 上 x 二 y 志 上 x 十 上 y|， (三 角 不 等 式 ) 
则 | x1 是 R" 上 的 向 量 范 数 (vector norm)。 

定义 3.6 中 的 3 个 条 件 实际 上 也 是 一 般 线 性 空间 中 范 数 定义 的 要 求 。 对 于 某 个 数 域 
及 上 的 线性 空间 S, 将 条 件 中 的 R 替换 为 区 ,R" 替 换 为 S, 条 件 (1) 一 (3) 即 定义 了 线性 空间 
S 上 的 范 数 。 定 义 了 范 数 的 线性 空间 被 称 为 赋 范 线性 空间 。 

对 于 实 向 量 x 二 [zi ,zo ,zs，… ,zsj]" ,下面 给 出 常用 的 几 种 范 数 ,它们 都 满足 定义 3. 6 
的 条 件 。 


(1) 1- 范 数 , 1 xl = 2) | zi 1。 
i=1 


(2) 2- 范 数 : | zx。 = (11)? 一 (x4。 

(3) 0- 范 数 : x= max | x 1。 

1- 范 数 也 称 为 曼哈顿 范 数 ;2- 范 数 也 称 为 欧 氏 范 数 ,是 欧 几 里 得 几何 空间 中 向 量 长 度 
的 直接 推广 。 应 当 指出 ,对 某 个 数 域 上 的 线性 空间 ,还 可 以 定义 内 积 (inner product) 的 概 
念 ,x 和 y 的 内 积 记 为 (x,y)。 内 积 为 零 , 则 说 两 个 向 量 正 交 。 在 实 向 量 空间 中 ,内 积 的 计算 
公式 为 


‘x,y) 一 Dy = x'y, 
而 在 更 一 般 的 复 向 量 空间 中 ,内 积 的 计算 公式 为 


《x,y) = Ti 一 


根据 内 积 可 以 定义 一 种 范 数 , | x | = Vix,x) 称 为 内 积 范 数 了 。 无 论 上 述 哪 种 情况 ,内 
积 范 数 都 与 2- 范 数 相 同 。 

上 面 给 出 的 3 种 向 量 范 数 都 属于 一 大 类 范 数 , 称 为 p- 范 数 。 

定义 3.7: 对 于 实 向 量 x 王 [zi ,zz ,Xx3,… ,Xnj"ER", 它 的 pp- 范 数 为 


Ix,= (Da), p>1. 
可 以 证 明 ,p- 范 数 符合 范 数 的 定义 3.6, 并 且 1- 范 数 .2- 范 数 和 吕 - 范 数 是 p- 范 数 的 3 
种 特殊 情况 (分 别 对 应 p=1, p= 二 2, -co) 。 


@ 关于 内 积 的 一 般 定义 ,请 参考 线性 代数 有 关 的 书籍 ,本 书 第 6 章 也 会 涉及 。 
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例 3.1(3 种 向 量 范 数 ) : 分 别针 对 二 维 向 量 的 1- 范 数 、2- 范 数 和 oo- 范 数 度量 ,在 二 维 4 
标 系 中 绘 出 单位 长 度 向 量 的 端点 集合 ( 即 “单位 贺 ”) ,并 计算 向 量 x 二 [一 1. 6,1.2J” 的 这 3 
种 范 数 。 


沪 


(1.6,12) 15 【 解 】 不 同 范 数 定 义 下 二 维 空间 单位 * 圆 ”的 图 形 如 
图 3-2 所 示 。x 的 3 种 范 数 为 上 x=2. 8, | xll: 王 2， 
上 = 6 国 


感 兴趣 的 读者 可 以 思考 ,按照 这 3 种 范 数 ,三 维 坐 标 
系 中 的 “单位 球 ” 分 别 是 什么 图 形 ? 
下 面 给 出 与 向 量 范 数 有 关 的 几 个 定义 和 定理 。 
-1.5 定义 3.8: 设 {x'e } 为 R" 中 一 向 量 序列 ,x”*E R", 设 
图 3-2 依据 3 种 范 数 得 到 的 二 维 ”x 二 [zx 人 ,ZX 因 ,zx 罗 J],x 二 [zx? 2 ]"。 如 
空间 “单位 圆 ” 的 图 形 果 limz” 三 x? , (i 二 1,2,3,…,n), 则 称 序列 {x®) 收 敛 于 
癌 量 x* * 记 为 limx” =x" 。 
定理 3.6: R" 上 的 任 一 种 向 量 范 数 | x | 都 是 关于 x 分 量 ri ,zz,…,zw 的 连续 函数 。 
定理 3.7: 设 上 x|, 和 x, 为 R* 上 的 任意 两 种 向 量 范 数 , 则 存在 常数 ci ,cs 过 0, 使 得 
对 一 切 xER", 有 


cr x hs Pale eelwllis 

定理 3. 8: limx™ =x" 的 充分 必要 条 件 是 lim x 一 x* ‖=0, 其 中 算 符 ‖。 | 表示 任 
一 种 向 量 范 数 。 

定义 3.8 给 出 了 向 量 序列 收敛 的 定义 , 即 一 个 向 量 序列 收敛 等 价 于 它 的 各 分 量 形成 的 
序列 都 收敛 。 定理 3.6 指出 任意 向 量 范 数 是 关于 向 量 分 量 的 连续 函数 。 定 理 3.7 指出 有 限 
维 向 量 空间 中 不 同 范 数 的 等 价 性 ,根据 它 可 得 到 一 个 推论 : 若 在 某 种 范 数 意义 下 向 量 序列 
的 范 数 收敛 到 0, 则 该 向 量 序列 的 任 一 种 范 数 都 收敛 到 0。 定理 3. 8 指出 向 量 序列 的 收敛 等 
价 于 向 量 与 极限 向 量 之 差 的 范 数 收敛 到 0。 关 于 这 3 个 定理 的 证 明 , 感 兴趣 的 读者 可 参考 
文献 [8]。 

关于 向 量 范 数 ,再 补充 说 明 以 下 两 点 。 

(1) 在 进行 一 些 理论 分 析 时 ,可 利用 不 同 范 数 的 等 价 性 ,将 按 某 一 种 范 数 得 出 的 结论 推 
广 到 所 有 范 数 情况 下 都 成 立 。 

(2) 除了 常用 的 p- 范 数 , 还 可 以 定义 其 他 形式 的 向 量 范 数 ,如 x | 4 二 Vxz4Axr, 其 中 人 
为 对 称 正定 矩阵 ,也 是 一 种 向 量 范 数 。 

所 有 的 矩阵 4ERR ,对 于 和 矩阵 加 法 、 和 矩阵 与 实数 乘法 运算 ,也 构成 一 个 线性 空间 ,因此 
也 可 以 在 此 空间 中 定义 矩阵 范 数 。 与 一 般 的 线性 空间 不 同 ,R"”" 空 间 还 包括 一 个 自我 封闭 
的 “矩阵 乘 ? 运 算 , 因 此 有 关 的 范 数 定义 中 一 般 也 增加 对 矩阵 乘 运算 的 要 求 。 

定义 3.9: 记 |4 || 为 矩阵 4ER" 的 某 个 实 值 函数 , 若 它 满足 条 件 

(1) 对 WER>" ,| 4| 关 0, 当 且 仅 当 4=O 时 ,1 41=0; (正定 条 件 ) 

(2) 对 wER ,| ll=lel14l1， 

(3) 对 W,BER"" ,14+B1 委 141 十 11B1; (三 角 不 等 式 ) 

(4) | ABI<INAIN BI, 
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则 | 4 | 是 及 “上 的 答 阵 范 数 (matrix norm)。 

在 定义 3.9 中 ,条 件 (4) 是 对 和 抢 阵 乘 运 算 的 要 求 。 

与 向 量 范 数 一 样 ,满足 定义 3. 9 的 矩阵 范 数 并 不 是 唯一 的 。 由 于 常常 需要 进行 矩阵 与 
向 量 相 乘 的 运算 ,还 应 将 矩阵 范 数 与 向 量 范 数 联系 起 来 。 在 定义 3.9 的 基础 上 ,实际 使 用 的 
矩阵 范 数 往 往 还 满足 如 下 相 容 性 条 件 : 

对 WER"”",xER" 都 有 

HaAx| <lAIlxl 。 (3.4) 

下 面 定义 的 矩阵 算 子 范 数 也 称 为 向 量 范 数 诱导 出 的 矩阵 范 数 ,就 是 满足 相 容 性 条 件 的 
矩阵 范 数 。 

定义 3.10: 设 xER' ,4AER”" ,对 某 种 给 定 的 向 量 范 数 | x |,, 甜 阵 的 算 子 范 数 为 
| ax ||, 
[E31 


和 矩阵 A 代表 了 线性 空间 R" 中 的 一 种 线性 变换 ,将 它 作 用 
于 向 量 x 的 结果 是 矩阵 与 向 量 的 乘积 4x。 因 此 ,从 定义 3. 10 
看 出 ,矩阵 的 算 子 范 数 就 是 这 个 线性 变换 对 向 量 x 的 最 大 "“ 拉 
长 ”倍数 (可 能 小 于 1) 。 图 3-3 中 绘 出 了 二 维 向 量 空间 中 所 有 
长 度 为 1 的 向 量 的 端点 轨迹 (采用 2- 范 数 ), 即 单位 圆 , 则 经 过 
某 个 矩阵 A 的 作用 ,变换 后 向 量 端点 的 轨迹 为 椭圆 ,其 长 轴 的 
一 半 长 度 就 是 矩阵 4 的 算 子 范 数 。 下 面 通过 一 个 定理 严格 说 
明和 矩阵 的 算 子 范 数 是 满足 相 容 性 条 件 的 矩阵 范 数 。 

定理 3.9: 定义 3. 10 的 算 子 范 数 是 满足 定义 3.9 以 及 相 
容 性 条 件 (3. 4) 的 和 矩阵 范 数 。 


【证 明 】 此 定理 的 条 件 是 算 子 范 数 | A | 一 maxd sl .要 证 明 


(1) 是 矩阵 范 数 , 即 满足 
(a) | 4 中 宇 0, 当 且 仅 当 A4=O 时 ,41=0; 
(b) laA =|lal Al ,aER,; 
(c) | 4 二 B1 委 141 十 外 B1; 
(d) | 4B|<IAI BI. 
(2) 与 向 量 范 数 有 相 容 性 , 即 
Ce) | Axl|<IlAlN xl 
命题 (a)、(b)、(c) 的 证 明 很 简单 ,这 里 略 去 。 下 面 证 明 (d) 和 (e)。 先 证 明 命题 (e): 
当 x 二 0 时 显然 成 立 ,然后 设 x 关 0， 


| 4 1,= max 
xA0 


图 3-3 和 矩阵 的 算 子 范 数 表示 线 
性 变换 Ax 对 向 量 x 的 
最 大 * 拉 长 ”倍数 


141 =maxdsxl > al = 1arls14l1zxl。 
| 
再 利用 (e) 的 结论 证 明 (d) ， 
AB. 
对 Wz0, | ABx| = 1ABON SHAN Bl SHA Bl ll > mdfe< 
A B 
mpl sl lat tl 1Al Bl ,mlABl<IAl sl. 国 
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针对 3 种 常用 的 向 量 范 数 ,可 以 给 出 对 应 的 矩阵 算 子 范 数 。 

定理 3. 10: 对 应 于 向 量 的 1- 范 数 .2- 范 数 和 cc=- 范 数 ,矩阵 4=(a)ERc" 的 算 子 范 数 
分 别 为 

GD 1- 范 数 ，1 4 = max >) | as | 。 

(2) 2- 范 数 : 141，= Vs(4T4)， 其 中 hs(*) 表示 取 和 矩阵 最 大 特征 值 的 函数 。 

(3) ceo- 范 数 : 1141。 = max >/ | of | 。 

【证 明 】 和 矩阵 的 1- 范 数 和 oo- 范 数 的 公式 很 容易 通过 定义 3. 10 进行 推导 ,相关 的 证 明 
留 给 读者 思考 。 下 面 对 2- 范 数 的 公式 进行 证 明 。 

对 于 任意 YER",xrT4T4x 一 (4Ax)T4x 一 上 Ax | 宇 0, 又 (4TA)T= 二 ATA， 所 以 矩阵 474 
为 对 称 半 正定 矩阵 。 根 据 定理 3. 3 和 定理 3.4,A7A 的 特征 值 为 非 负 实 数 , 设 它们 为 

各 宇 加 宇 … 宇 加 宇 0， 


与 之 对 应 的 特征 向 量 gl ,q: ,q;，,…,q, 构成 一 组 单位 正 交 基 , 任 一 非 零 向 量 x 可 表示 为 这 组 
基 的 线性 组 合 : 


其 中 ,ER 为 组 合 系数 , 则 


Axls x7(474hz)》 下台 


n nn 


| xllz 
ee (2 eg:) Dog (Zag) Ze 
i i=1 i=1 


( Seg ) 474 De ( Dg ) Pea 


Dy C2) 

一 ELA。 
Da 
i=1 

并 且 , 当 x=g 时 , 上 Ax /x 中? 二 和 1。 因 此 ,根据 定义 3.10, 有 
i 本 三 二 
Hl ? xz#o x; zzo | x? 
a 国 


应 当 说 明 的 是 ,矩阵 2- 范 数 的 计算 涉及 特征 值 , 比 其 他 丙种 
J 范 数 要 复杂 得 多 。 和 矩阵 的 1- 范 数 和 ~- 范 数 计算 比较 简便 ,应 熟 
图 34 算 阵 的 1 范 数 和 练 掌握 。 图 3-4 是 一 个 矩阵 的 示意 图 ,可 帮助 记忆 1- 范 数 和 
~- 范 数 计算 公 -~ 范 数 的 公式 , 据 此 也 称 1- 范 数 为 列 范 数 .==- 范 数 为 行 范 数 。 

式 中 涉及 的 元 素 ”在 不 加 特殊 说 明 的 情况 下 ,后 面 讨论 的 矩阵 范 数 均 为 算 子 范 数 。 
应 当 指出 ,这 3 种 常用 的 矩阵 范 数 并 不 局 限于 方 阵 。 对 于 一 
般 矩 阵 AE “"" ,根据 定义 3. 10 的 条 件 也 可 以 定义 1- 范 数 .2- 范 数 和 w 范 数 ,它们 同样 满 
足 定理 3. 9 和 定理 3. 10 的 结论 。 此 外 , 很 多 场合 也 使 用 矩阵 的 Frobenius 范 数 ‖ A 上: = 
(> > 必 )”, 它 相当 于 将 矩阵 元 素 排 成 一 个 向 量 ,然后 计算 其 2- 范 数 . 当 4 退化 为 一 个 


i=1 j=1 
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列 向 量 时 ,Frobenius 范 数 与 2- 范 数 相等 .此 外 还 可 以 证 明 ,Frobenius 范 数 也 满足 定理 3.9 
结论 中 的 各 种 范 数 性 质 。 


3.1.3 问题 的 敏感 性 与 矩阵 条 件数 


有 了 向 量 范 数 、. 和 矩阵 范 数 的 概念 ,下 面 分 析 线 性 方程 组 求解 问题 的 敏感 性 和 条 件数 , 研 
究 初始 数据 误差 对 解 的 影响 。 先 考虑 方程 (3. 1) 右 端 项 发 生 扰动 Ab 的 情况 ,相应 的 解 变 为 
x 十 Ax, 则 

A(x 二 Ax) =b 十 Ab， 
可 推导 出 如 下 两 个 不 等 式 : 
AAx = Ab SS Ax= ATAD = DAxl Nal a5lls 
Ax=b 之 bl <IlAllxl., 
根据 问题 的 条 件数 的 定义 1.9, 得 


laxl|/Nxl _ Maxl lol 一 IIILAsl IAl lxl 
d= 一 2 
nT Tao TAI ~ TAbT Txl 
= |AIMATI 。 (3.5) 


条 件数 cond 反映 了 问题 对 数据 相对 误差 的 放大 倍数 , 它 随 具体 问题 和 数据 而 变 ,但 式 
(3.5) 说 明了 条 件数 的 一 个 上 限 , 而 且 这 个 上 限 1 A ‖ 14- 1 仅 依 赖 于 方程 的 系数 矩阵 ,下 
面 把 它 定义 为 矩阵 的 条 件数 。 

定义 3.11: 设 4 为 非 奇异 矩阵 , 则 称 cond(4), 二 上 ‖ A ,上 AT! 中 ,为 矩阵 的 条 件数 ,其 
中 下 标 "用 于 标识 某 种 矩阵 的 算 子 范 数 。 

除了 方程 (3.1) 右 端 项 发 生 扰 动 的 情况 ,下 面 再 考虑 系数 矩阵 发 生 扰 动 的 情况 。 设 扰动 
量 为 A4, 它 使 解 由 x 变 为 ==x 十 Ax, 即 


(A 二 AA)z = b, 
忽略 一 些 推导 ,直接 给 出 如 下 不 等 式 ， 
| Axl LAa 1 
Ti cg :Wp a | (3.6) 
式 (3.6) 不 等 号 左边 的 -上 是 解 的 相对 误差 的 近似 值 ,因此 有 如 下 近似 关系 ; 
Arlz1al , 
cond~ TAATITAT S11 14- 1 。 (3.7) 


式 (3.7) 表 明 ,在 系数 矩阵 发 生 扰 动 的 情况 下 ,线性 方程 组 求解 问题 的 条 件数 的 上 限 也 近似 
为 矩阵 的 条 件数 。 

综 上 分 析 , 系 数 和 矩阵 的 条 件数 对 线性 方程 组 求解 问题 的 敏感 性 影响 很 大 , 它 一 般 是 线性 
方程 组 求解 问题 的 条 件数 的 上 限 。 因 此 ,了 解 系数 矩阵 条 件数 的 大 小 非常 重要 。 如 果 系 数 
和 矩阵 条 件数 很 大 ,就 称 之 为 病态 和 矩阵 (ill-conditioned matrix) ,对 应 的 线性 方程 组 求解 问题 
是 敏感 (病态 ) 问 题 ; 如 果 系数 矩阵 的 条 件数 很 小 ,就 称 之 为 良 态 矩阵 (well-conditioned 
matrix) ,相应 的 线性 方程 组 求解 问题 不 太 人 敏感。 

例 3. 2( 病 态 和 矩阵 ) : 求解 方程 组 Ax 一 0: 


[oom -l,l 


。 68 。 
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0 


0001 | 的 情况 ,通过 问题 的 条 件数 和 矩阵 条 件数 研究 问题 的 


考虑 右 端 项 扰动 ws=| 
敏感 性 。 


【 解 】 原 方程 解 :=| 


Xl 


|=[6 | 下方 为 


Le a 
1 1.0001Jly,| |2.0001]" 


其 解 为 =| |= 上 |. 右 端 项 扰动 造成 解 的 误差 Ax=y 一 x*=| |. 则 在 ~…- 范 数 意义 


2 


Xs 


Maxl /Nxl 12 
Focond= TaBpT /To 0-000172™—10 000, 而 


cond(A)-= ‖41 -14 | = 2.0001 x 


wo x| 1. 0001 | 


一 1.0000 1. 0000 
= 2.0001 x 104 x 2.0001 2 40 000。 

这 说 明 这 个 线性 方程 组 求解 问题 很 敏感 ,也 验证 了 矩阵 条 件数 为 问题 条 件数 的 上 限 。 国 

例 3.3( 良 态 矩 阵 ) : 求解 方程 4x 一 1: 


1 


. | 的 情况 ,通过 问题 的 条 件数 和 欠 隆 条 件数 研究 问题 的 


不 右 端 项 扰动 Ab 一 
考虑 右 端 项 扰动 Ab | 


敏感 性 。 
【 解 】 原 方程 解 :=| 


Tl 


|=| |- 坟 动 后 方程 为 


| Yb = 0 | 
1 1 yz 2. 0001 
1. 000 05 


其 解 为 >=| >” |=| 右 端 项 扰动 造成 解 的 误差 | 
ys 1.000 05 
~-_ 范 数 意义 下 ,问题 和 矩阵 4 的 条 件数 分 别 为 


Xz 


0.000 05 


L 在 
0. 000 05 


cond = Axl/lxl -0.00005 _ 
站 Ap /Te < 0.o0001/2 
0.5 在 直 
endo- = a1- 41 =2x| | 三 多 3 
一 0.5 0.5J|。 


这 说 明 此 问题 是 不 敏感 的 ,系数 矩阵 是 良 态 矩阵 。 国 
例 3.4( 希 尔 伯 特 矩阵 ) : 希 汞 伯 特 (Hilbert) 矩 阵 H, 定义 如 下 : 


1 
yp 
全， 二 1 
H, = 3 7 十 1 
1 1 
n 7 十 1 2 一 
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试 按 =- 范 数 计算 互 : 和 H, 的 条 件数 。 


考证 
a 9 -36 30 
1 1 1 
【 解 ] H; = > 3 Al FH -| 36 192 | 
a 30 —180 180 
3 4 5 
则 | Hs 一时， | H;! | =408, 所 以 cond(Hs) = 二 748。 
和 
1 5 3 1 
1111 16 -120 240 一 140 
2 3 4 5 —120 1200 一 2700 1680 
Hh 三 ， 了: 一 ， 
证 生生: 道 240 一 2700 6480 一 4200 
3 4 5 6 一 140 1680 一 4200 2800 
和 二 下 亚 于 
4 5 6 7 
则 | Hl 一 多， Hi! | =13 620, 所 以 cond(H,)。 ==28 375 。 国 


从 这 个 例子 看 出 , 随 着 阶 数 从 3 增 大 到 4, 希 尔 伯 特 矩阵 的 条 件数 增 大 了 几 十 倍 。 事 实 
上 ,和希 尔 伯 特 矩 阵 H, 是 一 种 著名 的 病态 矩阵 , 阶 数 n 越 大 ,其 病态 性 越 严 重 。 

上 面 的 分 析 和 例子 说 明 ,矩阵 的 条 件数 是 判断 线性 方程 组 求解 问题 敏感 性 的 重要 指标 ， 
是 数据 传递 误差 放大 倍数 的 上 限 。 下 面 给 出 有 关 和 矩阵 条 件数 的 一 些 重要 性 质 。 

定理 3. 11: 在 矩阵 的 算 子 范 数 意义 下 ,和 矩阵 4 的 条 件数 满足 


cond(A) max | axl min 4x | (8 
nax Tx /in- TT 
【证 明 】 首先 推导 和 矩阵 算 子 范 数 意义 下 A-! 的 公式 
, 1A7yl Lx 1 
Iam Ty TA 人 
| 


上 述 推 导 的 第 二 步 做 了 y 二 Ax 的 变量 代 换 。 再 根据 条 件数 的 定义 , 便 得 到 式 (3. 8)。 国 

式 (3.9) 说 明 ,4 一 的 算 子 范 数 为 矩阵 4 对 应 的 线性 变换 对 向 量 的 最 小 * 拉 长 ”倍数 的 倒 
数 ,或 者 说 是 最 大 “压缩 倍数。 根据 定理 3. 11 可 对 矩阵 条 件数 做 出 一 个 形象 的 解释 , 它 反 
映 了 线性 变换 作用 于 维 空间 的 “单位 球 ” 后 得 到 图 形 的 扭曲 程度 。 

可 以 将 系数 矩阵 为 奇异 矩阵 的 情形 看 成 最 病态 的 线性 方程 组 ,因此 规定 奇异 矩阵 的 条 
件数 为 无 穷 大 。 和 矩阵 条 件数 越 大 ,说 明和 矩阵 越 接近 奇异 ,其 数值 反映 矩阵 的 近 奇 异 程度 "。 
与 之 对 比 , 和 矩阵 的 行列 式 不 能 反映 矩阵 接近 奇异 的 程度 。 

下 面 给 出 矩阵 条 件数 的 几 条 重要 性 质 。 

定理 3. 12: 矩阵 的 条 件数 满足 如 下 性 质 : 

(1) 设 4 为 任意 非 奇 异 矩 阵 , 则 


@ 在 实际 问题 中 很 少 遇 到 真正 的 奇异 矩阵 (由 于 误差 ) ,但 会 出 现 近 奇 异 矩 阵 。 
5 GT 
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cond(4) 三 1. 

cond(4-) 一 cond(4)， 

cond(cA) 一 cond(4)， Yc 关 0。 
(2) cond( 也 二 1,1 为 单位 矩阵 。 
(3) 设 了 为 任意 对 角 和 矩阵 , 则 


cond(D) 三 maxzlda| ,其 中 i (i 二 1,2,…,n) 为 D 的 对 角 线 元 素 。 特别 地 , 若 采用 户 范 


min;| da | 
数 , 则 等 号 成 立 。 
(4) 若 采 用 2- 范 数 , 则 


_ fw ATA) 国 
cond(A),= ee Cr 其 中 Max(。)、 Mun(。) 分 别 为 求 矩 阵 最 大 .最 小 特征 值 的 
函数 。 


(5) 若 Q 为 任意 正 交 和 矩阵 , 则 
cond(Q), = 1， 
cond(QA ), = cond(AQ), = cond(A), 。 
定理 3. 12 中 (1) 的 各 条 结论 是 显然 的 。 例 如 ,从 式 (3. 8) 可 得 出 cond(4) 宇 1 的 结论 。 
定理 3. 12 的 其 他 内 容 也 可 根据 矩阵 算 子 范 数 的 定义 和 特殊 矩阵 的 性 质 加 以 证 明 , 感 兴趣 的 
读者 可 以 思考 。 


3.2 高 斯 消去 法 


高 斯 消去 法 (Gaussian elimination method) 是 求解 线性 方程 组 的 基本 方法 ,各 种 直接 
解法 基本 上 都 是 高 斯 消去 法 的 变形 ,或 者 是 针对 特殊 矩阵 的 改进 。 本 节 介 绍 一 般 的 高 斯 
消去 法 和 高 斯 - 约 当 消去 法 。 另 外 ,在 本 章 的 后 续 讨 论 中 , 若 没 有 特殊 说 明 , 都 假设 系数 
矩阵 非 奇 异 。 


3.2.1 基本 的 高 斯 消去 法 
先 通过 一 个 例子 简要 说 明 高 斯 消去 法 求解 线性 方程 组 的 过 程 。 
例 3.5( 高 斯 消去 法 求解 线性 方程 组 ) : 求解 线性 方程 组 
10zi 一 7zzs 一 7 
| 3zi 十 2zz 十 6zs 一 4 。 
5zi 一 zz 十 5zxs 一 6 
【 解 】 采用 高 斯 消去 法 ,求解 过 程 分 为 消去 和 回 代 求解 两 个 步骤。 下 面 写 出 线性 方程 
组 对 应 的 增 广 矩阵 (包含 系数 矩阵 和 右 端 项 ) ,根据 它 说 明 消 去 过 程 。 
0 二 地， 站 性 竹 
—3 26: | 
5 一 1 5:6 
高 斯 消去 过 程 就 是 对 增 广 矩阵 做 初等 行 变 换 , 将 系数 矩阵 变换 为 上 三 角 和 矩阵。 具体 步 
又 如 下 : 


We 
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将 第 一 个 方程 中 的 所 有 系数 及 右 端 项 系数 均 除 以 10( 归 一 化 操作 ) ,得 


1 二 
-3 2 6i:4 |.。 
5 —1 5:6 


将 第 二 个 方程 加 上 第 一 个 方程 的 3 倍 ,第 三 个 方程 减 去 第 一 个 方程 的 5 倍 , 得 
1 一 0.7 0:0.7 

| 一 01 6:6.1 

0 2.5 5i2.5 

将 第 二 个 方程 中 的 所 有 系数 及 右 端 项 系数 均 除 以 一 0. 1, 得 


1 07 0: 0.7 
| 1 一 60 | 一 61 | 


0 2.5 5: 2.5 
将 第 三 个 方程 减 去 第 二 个 方程 的 2.5 倍 ,得 


1 —0.7 0: 0.7 
| 1 —60 j 一 61 | 


0 0 155 : 155 
它 对 应 于 与 原 方程 组 等 价 的 上 三 角形 方程 组 


TI 一 0.77zz =07 
Xs— 60z3 一 一 6] 。 


155xzs 一 155 

此 时 执行 第 二 步 : 回 代 求解 。 先 从 第 三 个 方程 解 出 zs =1 ,将 它 代 入 第 二 个 方程 解 出 
Xs 二 一 1, 将 它们 再 代入 第 一 个 方程 解 出 zx! = 二 0。 [| 

一 般 地 ,高 斯 消去 过 程 对 增 广 矩阵 执行 两 种 初等 行 变换 : 

(1) 某 一 行 乘 以 非 零 常数 c( 倍 乘 变 换 ) 。 

(2) 将 某 一 行 乘 以 非 零 常数 后 加 到 另 一 行 (倍加 变换 ) 。 

回 代 过 程 首 先 根据 上 三 角形 方程 组 的 最 后 一 个 方程 解 出 x, ,然后 将 解 依次 代入 上 一 个 
方程 , 按 zx ,zx-1，,… zi 的 顺序 解 出 所 有 的 未 知 量 。 下 面 给 出 消去 过 程 的 算法 描述 。 
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End 
End 


关于 算法 3. 1 ,说 明 两 点 : 

(1) 这 里 省 略 了 归 一 化 操作 ,变量 < 记录 了 当前 行 应 乘 以 的 倍数 ,通过 行 倍加 变换 将 系 
数 和 矩阵 对 角 线 以 下 部 分 变 为 0。 

(2) 采用 了 ”* 原 地 工作 ”的 存储 方式 , 即 变 换 后 的 矩阵 元 素 覆 盖 原 来 的 值 。 最 终 ,变换 后 
得 到 的 上 三 角 和 矩阵 存储 在 原始 矩阵 A 的 上 三 角 部 分 ,而 对 角 线 以 下 部 分 的 值 没有 意义 。 

算法 3. 2 给 出 了 回 代 过 程 的 算法 描述 , 它 求解 上 三 角形 方程 组 Ux 一 !。 


算法 3.2: 求解 上 三 角形 方程 组 的 回 代 过 程 
输入 : U, n,b; 输出 : x. 
For i=n, n—1, n~—2, *…, 1 

If wi; 二 0 then 停止 ; 

wi = bs 

For 7 =n, n—1,., i 二 Tl1 

mT Ur 
End 
Xi =xi/ uss 


End 


求解 一 般 的 线性 方程 组 时 ,算法 3.2 中 的 上 三 角 和 矩阵 U 就 是 算法 3. 1 执行 后 的 结果 。 
算法 3. 2 是 计算 公式 
入 一 UyTj 


b j= a 
一 一 ， Xi 二 ， i=n—l,n—2,,1 
Wi Ui 


的 直接 实现 , 它 对 和 抢 阵 U 的 元 素 按 一 行 一 行 的 顺序 读 取 , 并 且 算 法 的 执行 不 会 更 改 和 矩阵 U。 

需要 注意 的 是 ,算法 3. 1 要 求 当 前 消去 步 的 矩阵 对 角 元 a 多 隆 0,(k 二 1,2,3,"…,n 一 1)， 
这 里 用 上 标 (k) 表 明 它 与 原始 矩阵 A 的 对 角 元 不 同 ,而 算法 3. 2 要 求 和 矩阵 U 的 对 角 元 不 为 
零 ( 这 是 矩阵 U 非 奇 异 的 要 求 )。 高 斯 消去 过 程 中 的 元 素 号 被 称 为 主 元 (pivot) 。 关 于 主 元 
为 0 情况 的 处 理 , 将 在 第 3.4 节 讨 论 。 

下 面 对 高 斯 消去 法 的 复杂 度 进行 分 析 , 先 分 析 时 间 复 杂 度 , 即 统计 算法 中 浮 点 数 乘除 法 
和 加 减法 的 运算 次 数 。 先 看 算法 3. 1, 最 外 层 循环 的 第 & 步 计算 ?一 A 次 除法 、 (2 一 &) (2 一 
&A 十 1) 次 乘法 ,因此 乘法 、 除 法 的 总 次 数 如 下 。 


除法 : 一 DD 十 0 一 2 二 十 1 一 人 三 次 。 


nt Dna Dy 


乘法 : n(n 一 1]) 十 (一 1)(n 一 2) 十 … 十 2X1= 3 


乘除 法 的 总 次 数 为 计 避 十 去 避 一 万 n。 当 丸 较 大 时 ,最 高 次 项 广 wr 的 值 远大 于 其 他 低 次 


和 
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项 ,所 以 我 们 一 般 说 ,消去 过 程 中 浮 点 数 乘除 法 的 计算 次 数 约 为 二 必 。 从 算法 3. 1 可 以 看 
出 , 浮 点 数 加 减法 的 总 次 数 与 乘法 次 数 一 样 多 ,大 约 为 于。 
考虑 算法 3. 2 ,乘除 法 的 次 数 为 1 十 2 十 3 十 … 二 0 一 二 吧 十 二 加 减法 的 次 数 为 0Hi 二 


区 一 1 一 去 忆 一 于 六 如 果 忽 略 低 次 项 ， 回 代 过 程 中 浮 点 数 乘除 法 的 计算 次 数 约 为 


方太 ,学 点 数 加 减法 的 次 数 也 与 它 差不多 。 


综 上 分 析 , 用 高 斯 消去 法 求解 一 个 n 阶 线性 方程 组 (依次 执行 算法 3. 1 和 算法 3.2) 大 
约 需要 做 到 /3 次 浮 点 数 乘除 法 ,以 及 到 /3 次 浮 点 数 加 减法 。 至 于 空间 复杂 度 , 上 述 算法 都 
采用 原 地 工作 方式 ,除了 原始 输入 数据 和 结果 ,几乎 不 需要 额外 的 存储 空间 。 


3.2.2 高 斯 - 约 当 消去 法 


前 面 讨 论 的 高 斯 消去 过 程 只 将 系数 矩阵 对 角 线 下 方 的 元 素 消 为 0, 对 此 过 程 做 一 点 修改 ， 
可 以 将 对 角 线 下 方 和 上 方 的 元 素 都 消去 。 这 样 ,系数 和 矩阵 就 被 变换 为 对 角 和 矩阵 (甚至 单位 矩 
阵 )。 这 种 方法 称 为 高 斯 - 约 当 (Gauss-Jordan) 消 去 法 。 下 面 以 例 3.5 中 的 方程 加 以 说 明 。 
例 3.6( 高 斯 - 约 当 消去 法 求解 线性 方程 组 ) : 求解 线性 方程 组 
10zil 一 7zz 条 
一 3zl 十 2zz? 十 6zs 一 4 。 
5zl 一 Xz 十 5x3= 二 6 
【 解 】 将 此 线性 方程 组 写成 增 广 矩阵 的 形式 
10 一 7 017 
三 | 
0- = 6 
高 斯 - 约 当 消去 法 的 求解 过 程 就 是 对 增 广 矩阵 做 初等 行 变换 , 消去 对 角 线 下 方 和 上 方 
的 元 素 。 具 体 步 又 如 下 。 
首先 将 第 二 个 方程 加 上 第 一 个 方程 的 0. 3 倍 , 第 三 个 方程 减 去 第 一 个 方程 的 0.5 倍 ,得 


10 —7 0:7 
全 二 
0 25 5125 


然后 将 第 一 个 方程 减 去 第 二 个 方程 的 70 信 , 第 三 个 方程 加 上 第 二 个 方程 的 25 倍 , 得 


10 0 一 420; 一 420 
0 一 0.1 6 | 6.1|. 
0 0 155 155 
最 后 将 一 个 方程 加 上 第 三 个 方程 的 420/155 倍 ,第 二 个 方程 减 去 第 三 个 方程 的 6/155 倍 ,得 
10 0 0 : 0 
| 0 = 0 雹 训 : 
0 0 155: 155 


ys 
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此 时 系数 矩阵 变换 为 对 角 和 矩阵 ,每 个 方程 可 独立 解 出 一 个 未 知 量 , 得 到 x 二 0,x; 二 
一 1,zs 一 1。 图 
对 一 般 的 情况 ,下 面 给 出 高 斯 - 约 当 消去 法 的 算法 描述 。 


算法 3.3: 求解 线性 方程 组 的 高 斯 - 约 当 消去 法 
输入 : A,n, b; 输出 : x。 
For k=1, 2,3,°",n 
If ax 二 0 then 停止 ; 
Fori =1, 2,3,.…,n 有 ik 
cue /aas 
For j=k 二 1, ki+2, ,nn 
as 3 一 0 一 CQ53 
End 
b: :=b;— chs 
End 
End 
For i=1, 2,.…,n 
Ti 一 [aas 
End 


与 算法 3. 1 一 样 , 算 法 3. 3 也 要 求 主 元 不 等 于 0。 如 图 3-5 
所 示 ,高 斯 - 约 当 消去 法 将 系数 矩阵 第 &A 行 的 灰色 部 分 乘 以 倍 
数 后 加 到 其 他 各 行 ,使 阴影 区 域 对 应 的 矩阵 元 素 得 以 更 新 ,最 
终 执行 k 二 n 对 应 的 消去 操作 后 ,和 矩阵 变 为 对 角 矩 阵 。 

下 面 分 析 高 斯 - 约 当 消去 法 的 算法 复杂 度 。 讨 论 时 间 复 杂 
度 时 一 般 都 忽略 低 次 项 ,因此 仅 需 考虑 算法 3. 3 中 最 内 层 For 图 3-5 高 斯 - 约 当 消 去 法 对 系 
循环 中 执行 的 运算 次 数 ,乘法 次 数 为 数 和 矩阵 的 操作 示意 图 

(2 一 1)(2 一 1) 十 (2 一 1)(2 一 2) 十 … 十 (2 一 1) X1 


mwl 1 


== 2 7 ， 


加 减法 的 次 数 也 约 为 去 。 所 以 ,高 斯 - 约 当 消去 法 的 计算 量 大 约 比 标准 的 高 斯 消去 法 多 


50%。 在 空间 复杂 度 方面 ,由 于 采用 原 地 工作 方式 ,几乎 不 需要 额外 的 存储 空间 ,但 它 也 修 
改 了 原来 的 系数 矩阵 。 

上 面 分 析 表 明 ,高 斯 - 约 当 消去 法 并 不 比 标准 的 高 斯 消去 法 具有 优势 ,一 般 不 用 它 求 解 
线性 方程 组 。 但 由 于 高 斯 - 约 当 消去 法 的 消去 过 程 中 工作 量 分 布 均匀 , 解 的 所 有 分 量 可 以 
同步 算出 ,因此 可 以 在 一 些 并 行 算法 中 使 用 。 

高 斯 - 约 当 消 去 法 的 一 个 主要 用 途 是 计算 矩阵 的 逆 。 在 高 斯 - 约 当 消去 过 程 的 基础 上 ， 
对 各 和 矩阵 行 执行 归 一 化 操作 可 将 其 化 为 单位 阵 。 将 和 矩阵 4 变 为 单位 矩阵 的 一 系列 初等 行 
变换 对 应 初等 变换 短 阵 正 ; ,下 .FE;,….E,. 则 
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EEEA=1I 
EEE = A 
>A = E,…EEl. (3.10) 
式 (3. 10) 表 明 , 如 果 将 所 有 这 些 变换 依次 作用 于 单位 矩阵 , 则 得 到 矩阵 4 的 逆 和 矩阵 4A“，。 因 
此 ,得 到 如 下 的 给 阵 求 送 算法 。 


在 算法 3.4 中 ,和 矩阵 中 的 初始 值 为 单位 矩阵 ,算法 执行 结 
束 后 , 它 变 成 4 。 在 算法 最 外 层 循环 的 第 & 步 ,初等 变换 对 
矩阵 妇 的 操作 如 图 3-6 所 示 , 其 中 灰色 区 域 和 阴影 区 域 为 要 更 
改 的 矩阵 元 素 。 对 算法 3. 4 分 析 计 算 复杂 度 ( 结 合 图 3-6) ,可 
知 求 矩 阵 的 逆 大 约 需要 mw 次 乘除 法 和 ww 次 加 减法 。 与 前 面 
儿 个 算法 一 样 ,这 个 求 逆 算法 采用 原 地 工作 方式 ,修改 了 和 矩阵 图 3-6 和 矩阵 求 送 过 程 中 ,对 结果 
4( 虽 然 逆 矩 阵 存储 于 如 中 ) 。 和 矩阵 的 操作 示意 图 

例 3.7( 和 矩阵 求 逆 ) : 求 和 矩阵 

10 一 了 1 
4 一 攻 入 :| 
,二 


。76 。 
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的 逆 和 矩阵。 

【 解 】 使 用 算法 3. 4 计算 ,为 了 表达 方便 ,对 增 广 和 矩阵 [4 ,了 
10 一 7 0:1 0 0 
-3 2 6i010 
5 一 1 5:0 0 1 
执行 一 系列 初等 行 变换 ,使 得 矩阵 4 变换 为 单位 和 矩阵。 具体 步 又 如 下 。 

首先 ,对 第 一 行 执行 归 一 化 ,得 
| 


5 —1 5i0 


1 一 0.7 0 
0 一 0.1 6: 0. 
0 2.5 51 
然后 ,对 第 二 行 执行 归 一 化 ,得 


1 一 0.7 0: 0.1 0 0 
0 1 —60i-3 一 10 0|， 


0 2.5 5 ;一 0.5 0 1 
将 第 一 行 加 上 第 二 行 的 0.7 倍 ,第 三 行 减 去 第 二 行 的 2.5 倍 , 得 
1 0 —42i—2 —7 0 
| 1 一 60 ;一 3 一 10 | 
0 0 人 
最 后 ,对 第 三 行 执行 归 一 化 ,得 


让 一 了 0 
0 1 一 60 ;一 3 一 10 0 
0 0 1: 0.0452 0. 1613 0.0065 
将 第 一 行 加 上 第 三 行 的 42 倍 , 第 二 行 加 上 第 三 行 的 60 倍 ,得 


0 ji 一 0.2903 一 0.3226 0.3871 
0 0 1j; 0.0452 0.1613 0.0065 

为 了 简洁 ,这 里 只 显示 小 数 点 后 4 位 数字 ,最 终 得 到 
一 0.1032 一 0.2258 0.2710 
一 0.2903 一 0.3226 0.3871 
0. 0452 0. 1613 0.0065 国 
应 当 注 意 的 是 ,由 于 计算 复杂 度 较 高 ,在 实际 应 用 中 应 尽量 避免 对 矩阵 求 着。 事实 上 ， 
很 多 数学 表达 式 中 虽然 包含 了 矩阵 的 逆 , 如 A-1b, 但 实际 计算 时 并 不 需要 真正 计算 4-: ,如 
求解 方程 Ax==b 即 得 到 A-'b 的 结果 ,这 比 求 出 4-: 再 做 矩阵 乘法 更 有 效 (矩阵 乘法 需要 妈 
次 乘法 运算 ) ,也 更 准确 。 实 际 问题 中 真正 需要 A 的 逆 的 情况 很 少 ,因此 一 旦 见 到 公式 中 的 

A 1, 首先 应 想到 的 是 “ 解 方程 组 ,而 不 是 “ 求 矩 阵 的 逆 ”。 


0 01: 一 0.1032 一 0.2258 en 
0 1 ， 


并 小 生 


i 
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矩阵 的 条 件数 中 包含 了 矩阵 的 逆 , 有 时 可 以 不 精确 计算 条 件数 ,而 只 是 进行 估计 ,相关 
的 讨论 见 3.7 节 以 及 参考 文献 [1]。 


3.3 和气 阵 的 LU 分 解 
本 节 首先 讨论 高 斯 消去 过 程 的 矩阵 形式 ,引出 矩阵 的 LU 分 解 ,然后 给 出 一 种 直接 计算 
LU 分 解 的 算法 ,最 后 介绍 如 何 利用 矩阵 的 LU 分 解 求解 线性 方程 组 。 
3.3.1 高 斯 消去 过 程 的 矩阵 形式 


高 斯 消去 过 程 是 通过 一 系列 初等 行 变换 将 系数 矩阵 变 为 上 三 角 和 矩阵 的 过 程 。 根 据 线 性 
代数 知识 ,初等 行 变换 可 通过 用 初等 变换 矩阵 左 乘 系 数 矩 阵 实现 ,而 右 乘 初等 变换 矩阵 则 实 
现 初等 列 变换 。3 种 初等 变换 答 阵 瑟瑟 2 和 天 ?2 具有 如 下 形式 : 


EV 一 攻 ， 五 2 一 名 ,E'” 一 


L 1 2 
其 中 ,和 矩阵 中 空白 区 域 的 元 素 均 为 0, 而 对 角 线 上 ”….” 处 的 元 素 均 为 1。 下 2 、E? 和 EE 分 别 
对 应 倍 乘 变换 、 倍 加 变换 和 交换 变换 (交换 两 行 或 两 列 ) 。 
对 一 般 的 阶 线性 方程 组 ,假设 消去 过 程 中 的 主 元 均 不 为 0, 则 只 需 使 用 行 倍加 变换 。 消 
去 当前 列 中 对 角 线 下 方 的 所 有 元 素 需 要 多 次 行 倍加 变换 ,它们 可 以 统一 用 一 个 消去 矩阵 表示 。 
定义 3.12: 车 nXn 的 矩阵 M:* 具有 如 下 形式 : 


三 。 ， ks 11 


772kH1 


Dn,k L 
其 中 , 除 主 对 角 线 上 和 第 k 列 最 后 nn 一 & 个 元 素 外 的 其 他 元 素 均 为 0, 则 称 Mi 为 第 & 类 的 n 
阶 消去 和 矩阵 ,下 标 & 为 类 型 数 ,ma ,(i 二 十 1 ,十 2,…,n) 为 乘 数 (multiplier)。 
根据 这 个 定义 ,得 到 消去 矩阵 的 一 些 性 质 。 
定理 3.13: nXn 的 消去 矩阵 满足 如 下 性 质 : 
(1) 消去 矩阵 为 单位 下 三 角 和 矩阵 ,因此 它 一 定 非 奇 异 。 
(2) 若 wz0, 且 第 类 的 n 阶 消去 矩阵 Mi 中 的 乘 数 ma 二 一 ai/ax ,Ci 二 =k 十 1,k 十 2,*…,n) 


则 
1 al al 
1 a 
Mia = “|=|”|， (3.12) 
772KH1 ,大 人 QH 0 
772 ¥ te 0 
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即 Mi 可 对 向 量 a 实施 消 元 (使 其 第 & 十 1 到 第 n 个 元 素 都 变 为 0) ; 若 w 二 0, 则 不 存在 能 对 
4 实施 相同 消 元 功能 的 第 & 类 消去 矩阵 。 
(3) 消去 矩阵 Mi 的 道 矩阵 为 


一 712kH 


一 mma,gk 

即 它 与 Mi 的 区 别 只 是 乘 数 的 符号 相反 。 并 且 ,.Ma: 也 是 一 个 第 & 类 消去 矩阵 (对 应 不 同 的 
向 量 a) 。 

(4) 如 果 Mi ,Mi (j 二 ) 分 别 为 第 j 类、 第 上 类 消去 矩阵 , 则 乘积 MiM; 也 是 单位 下 三 角 
矩阵 , 且 它 的 非 零 元 素 为 Mi 和 Mi 中 非 零 元 素 的 并 集 。 更 一 般 地 ,对 mm 个 (m 二 n) 消 去 矩阵 
Mi ,1 过) 肥 , 若 类 型 数 包 二 已 二 … 天 全, 则 乘积 Mu Mi,… Mi 必 为 单位 下 三 角 和 矩阵 , 且 它 
的 非 零 元 素 为 各 个 因子 矩阵 非 零 元 素 的 并 集 。 

定理 3. 13 的 性 质 (1) 一 (3) 比 较 简单 ,也 很 直观 ,这 里 不 再 解释 。 下 面 对 性 质 (4) 做 一 些 
说 明 。 首 先 看 两 个 不 同类 消去 矩阵 相 乘 的 情况 ,以 4 阶 方 阵 为 例 , 设 


1 00 ll 0 0 
ma 1 0 0 0 1 0 0 
M= ， M, = ， 
ma 0 1 0 0 ms: 1 0 
m1 0 0 1 0 m2: 0 1 


显然 ,Mh 可 看 成 是 3 个 初等 倍加 变换 依次 作用 于 单位 矩阵 的 结果 , 则 计算 M,M。 只 需 对 
AM 做 相应 的 3 次 初等 行 倍加 变换 ,得 到 
1 0 0 0 
77221 1 0 0 
MM, = 
ma ms 1 0 
na nm 0 1 
即 MM; 的 非 零 元 素 为 M 和 M: 的 “并 ”。 改 变 两 个 消去 矩阵 相 乘 的 顺序 , 易 得 到 如 下 
结果 : 
1 0 0 
77221 1 0 
MM = ” 


msl mamss M3 


~ OO ood 


muTmanzs m2 0 
MM 仍 是 单位 下 三 角 和 矩阵 ,但 不 再 是 两 个 乘法 因子 矩阵 的 并” 了。 基于 类 似 的 分 析 可 证 
明 上 述 性 质 (4), 即 当 消 去 矩阵 的 类 型 数 互 不 相同 , 且 按 从 左 到 右 递增 的 顺序 相 乘 ,其 结果 将 
是 各 个 因子 矩阵 的 “并 ”。 
根据 定义 3. 12 ,高 斯 消去 过 程 相 当 于 对 矩阵 A 不 断 左 乘 消去 矩阵 得 到 上 三 角 和 矩阵 
UU, 即 
。 79 。 
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U = M，…M2M4， (C35189 
其 中 ,Mi;(i 二 1,2,…,n 一 1) 为 第 i 类 消去 矩阵 。 由 于 消去 矩阵 均 非 奇异 ,因此 式 (3. 13) 等 
做 手 

4 一 MiMz …MaoaU， (3.14) 
根据 定理 3. 13 的 性 质 (3) ,MT .M21、…、M 沁 也 都 是 消去 和 矩阵 , 且 它 们 的 类 型 数 分 别 为 1、 
2 nn 一 1]。 令 

L = MiMi Me, (3.15) 
根据 定理 3. 13 的 性 质 (4) , 为 单位 下 三 角 和 矩阵 ,因此 

A=IU. (3. 16) 


式 (3.16) 被 称 为 矩阵 4 的 LU 分 解 (LU decomposition 或 LU factorization) ,也 称 为 三 
角 分 解 ,其 中 工 为 单位 下 三 角 和 矩阵 。U 为 上 三 角 和 矩阵 。LU 分 解 是 一 种 重要 的 矩阵 分 解 ,也 
是 高 斯 消去 过 程 的 矩阵 形式 表述 。 

定理 3. 14: 对 方程 Ax 二 b, 其 中 AER"”", 则 矩阵 4 存在 唯一 的 LU 分 解 的 充分 必要 条 
件 是 执行 高 斯 消去 过 程 中 的 主 元 a 信 取 0(k 二 1,2,…,n 一 1)。 

【证 明 】 只 证 明 充分 性 ,必要 性 的 证 明 超出 了 本 书 的 范围 。 前 面 的 推导 已 说 明 LU 分 
解 的 存在 性 ,下 面 用 反 证 法 证 明 唯 一 性 。 

假设 L 和 U 是 不 唯一 的 , 即 存 在 两 个 单位 下 三 角 和 矩 阵 LL 隆 L; ,或 两 个 上 三 角 和 矩阵 Ui 去 U;， 
使 得 


A= LU,= LU,, 
显然 ,Li ,Ls 均 为 非 奇异 阵 。 

先 考虑 矩阵 4 为 非 奇 异 的 情况 (这 也 是 一 般 的 情况 )。 由 于 Ui 二 L714A，, 因此 Ui 为 非 奇 
异 和 矩阵 ,上 述 方程 等 号 两 边 左 乘 La1, 然后 右 乘 U71，, 得 

by Dry PE NR De (3.17) 

由 于 Lz?! 是 单位 下 三 角 和 矩阵 ,方程 (3. 17) 的 等 号 左边 为 单位 下 三 角 和 矩阵 。 类 似 地 ,等 号 右边 为 
上 三 角 矩 阵 。 方 程 (3. 17) 成 立 的 唯一 可 能 是 L211 = 二 UsU7T! == 了 ,此 时 工 ==L ,Ui 二 Ui ,与 假设 
矛盾 。 

若 4 为 奇异 矩阵 ,Uw 王 0, 可 用 分 块 矩阵 的 技巧 证 明 充 分 性 。 关 于 必要 性 的 证 明 , 感 兴 
趣 的 读者 请 参考 文献 [30]。 国 

消去 过 程 的 最 终结 果 是 矩阵 U, 那 么 如 何 计算 矩 阵 工 呢 ? 根据 定理 3. 13 以 及 
式 (3.15) ,矩阵 也 是 z” 一 1 个 消去 矩阵 对 角 线 下 方 元 素 取 相 反 数 再 “合并 ”的 结果 , 即 


ed RA | 
其 中 ,zi 为 消去 矩阵 Mi 中 的 乘 数 。 设 消去 矩阵 Mi ,M: ,…,M, :作用 的 对 象 分 别 为 A ， 
42 A, 则 m5 二 一 a 六 /a 六 ,其 中 a 六 为 第 j 步 消去 步骤 的 主 元 。 
综合 上 述 讨 论 ,得 到 用 高 斯 消去 过 程 进 行 矩阵 LU 分 解 的 算法 。 
了 80 
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算法 3. 5 仍然 采用 原 地 工作 的 存储 方式 。 算 法 执行 结束 后 ,4 的 上 三 角 部 分 即 成 为 矩阵 
DU 的 上 三 角 部 分 ,而 对 角 线 以 下 部 分 是 矩阵 工 的 对 角 线 下 方 元 素 (对 角 线 上 的 1 不 需要 存储 )。 
算法 3. 5 与 算法 3. 1 的 计算 过 程 差 不 多 ,只 是 少 了 对 右 端 项 的 处 理 。 简 单 分 析 后 发 现 ， 


算法 3.5 中 浮 点 数 乘除 法 的 次 数 也 大 约 是 于 号 ,加 减法 的 次 数 类 似 。 
例 3.8(LU 分 解 ) : 用 高 斯 消去 法 求 矩 阵 


1 2 2 
4 4 :| 
4 6 4 


A= 


的 LU 分 解 。 
【 解 】 根据 算法 3. 5, 执 行 第 一 次 消去 过 程 , 乘 数 wa 二 一 4,msi 三 一 4 用 第 一 行 消 第 
二 三 行 ,使 得 矩阵 A 变 为 
1 芝 次 
0 一 4 -| 


0 一 2 一 4 

执行 第 二 次 消去 过 程 , 乘 数 m3; 二 一 1/2, 用 第 二 行 消 第 三 行 , 使 得 矩阵 4 变 为 
和 

0 一 4 一 :| 

0 站 “二 全 

4 所 即 矩 阵 口 ,而 将 乘 数 的 相反 数 填 人 单位 矩阵 的 下 三 角 部 分 即 得 到 工 。 


1 0 0 1 3 2 
:| 1 中 -| 一 4 -| 
4 12 .1 0 0 一 1 
通过 和 矩阵 相 乘 不 难 验证 A==LU。 图 


3.3.2 和 矩阵 的 直接 LU 分 解 算 法 


除了 通过 高 斯 消去 过 程 推导 LU 分 解 外 ,还 可 直接 根据 矩阵 乘法 推导 出 LU 分 解 的 
。8]1 。 


4G) 一 


A 一 
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算法 。 
例 3. 9( 根 据 矩 阵 乘 法 推导 LU 分 解 ): 将 矩阵 
2 
A=|4 4 2 
4 6 4 


分 解 为 4 二 LU 的 形式 ,其 中 工 为 单位 下 三 角 和 矩阵 ,U 为 单位 上 三 角 和 矩阵 。 
【 解 】 设 和 矩阵 工 的 元 素 为 :CU 的 元 素 为 ui . 则 根据 要 求 有 如 下 方程 : 
1 0 0fun ws us | 
ln 1 0|0 zz < 4 4 中 
la ls 1JL0 0 uss 4 6 4 
上 述 方程 中 包含 9 个 未 知 数 , 而 等 号 两 边 的 矩阵 相等 意味 着 3X 3 个 矩阵 元 素 对 应 相等 , 正 
好 构成 9 个 方程 。 先 看 等 号 两 边 和 矩阵 第 一 行 元 素 相等 得 到 的 方程 ,使 用 和 矩阵 乘法 得 


zl 一 1 
uz 一 2， (3. 18) 


直接 就 得 到 了 3 个 未 知 量 的 解 。 
再 看 等 号 两 边 矩 阵 第 一 列 元 素 相等 得 到 的 方程 ,除去 位 置 (1,1) 的 元 素 , 有 


laun 一 4 
人 人 
将 式 (3. 18) 中 的 ma =1 代入 其 中 ,每 个 方程 只 有 一 个 未 知 量 , 解 出 
他 车 (3.19) 
l=4 


根据 等 号 两 边 矩 阵 (2,2)、(2,3) 位 置 上 元 素 相 等 列 方程 
十 uzz 三 4 


laus 十 zzs 一 2 ” 
同样 ,每 个 方程 只 有 一 个 未 知 量 , 将 式 (3. 18)` 式 (3. 19) 代 入 后 解 出 
uzz 一 一 4 
如 一 一 6“ 
根据 等 号 两 边 矩 阵 (3,2) 位 置 上 元 素 相等 列 方程 
lauz 十 aztzz = 6， 
此 方程 中 实际 上 只 有 一 个 未 知 量 ,将 已 解 出 的 量 代入 其 中 ,得 到 


lsz = 和 o 
2 
最 后 比较 (3,3) 位 置 上 的 矩阵 元 素 , 列 方程 
laiuis 十 Lazuzs 十 uss 一 6， 
解 出 wuss 二 一 1。 至 此 ,通过 依次 比较 等 号 两 边 矩 阵 的 各 个 元 素 , 解 出 了 和 矩阵 L 和 U 中 的 所 


有 未 知 量 ,得 到 A 的 LU 分 解 为 


1 0 0 和 2 2 
L=|4 1 0|, U=|0 一 4 一 6 
4 1/2 1 0 0 一 】 


i 人 
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国 
通过 此 例子 可 以 看 出 , 若 能 按照 一 种 合理 的 次 序列 出 矩阵 元 素 对 应 相等 的 方程 , 则 和 抢 阵 
L 和 U 中 的 元 素 可 以 逐一 解 出 。 下 面 结合 方 程 LU 二 A 的 图 示 ( 见 图 3-7) 讨 论 一 般 的 情况 。 


1 Ul el Lal Q11 QI al 
1 
Es 3 [i | : 
”> . | | 
. i | - 
Pe ll Up—1 : 
So 1 1 FE 
1 三 吕 
la ic 1 1 | Wy ou LG 2 
Sr | 
:1 
: Le 
Lm ee ntl 1 Um 关 lam | lm 


图 3-7 直接 三 角 分 解 方 法 的 解法 示意 图 


首先 考虑 A 的 第 一 行 元 素 的 计算 , 它 由 工 第 一 行 乘 以 U 各 列 得 到 。 由 于 工 第 一 行 除 
Lu 二 1 外 ,其 余 为 0, 因 此 有 
uj =ay, j= 1,2,,n, 
即 的 第 一 行 元 素 等 于 A 的 第 一 行 元 素 。 
再 考虑 4 的 第 一 列 其 他 元 素 的 计算 , 它 由 LL 的 对 应 行 乘 U 的 第 一 列 得 到 。 由 于 UU 的 第 
一 列 只 有 wi 关 0G 三 an, 假设 不 等 于 0) ,因此 可 解 出 
Ui 


La = ， i=2,3,"",n 。 


Ul 
接 下 来 可 类 似 地 计算 出 U 的 第 二 行 元 素 、L 的 第 二 列 元 素 。 一 般 地 ,假设 U 的 第 一 
行 到 第 k 一 1 行 已 知 ,L 的 第 一 列 到 第 k 一 1 列 已 知 ,下 面 根据 4 第 & 行 .第 & 列 的 余下 元 
素 列 方程 (图 3-7 矩阵 4 中 的 虚线 框 ), 求 U 的 第 k 行 L 的 第 上 列 (图 3-7 中 虚线 箭头 指 
示 这 种 逐 行 、 逐 列 求解 顺序 )。 先 看 A 第 k 行 的 后 面 n 一 k 十 1 个 元 素 , 它 由 工 的 第 k 行 乘 
以 UU 的 第 k 列 及 其 后 各 列 得 到 (图 3-7 中 矩阵 工 和 了 中 的 虚线 框 指示 了 计算 wu 所 需 的 矩 
阵 元 素 ) , 列 出 的 方程 为 


La 
Da 十 由 一 中， (= kk 十 1, ,n), 
i=1 
其 中 ,ws (i 二 1,2,…,k 一 1) 均 已 知 ,可 求 出 ww , 即 得 到 UU 的 第 k 行 
me 
uy =ay — Dlsuss (GF =k,k 二 lsn) 。 (3. 20) 
i=1 


再 看 4 的 第 & 列 的 后 面 2 一 上 个 元 素 , 它 由 工 的 第 &A 行 后 面 各 行 乘 以 U 的 第 k 列 得 到 ， 
列 出 的 方程 为 


kl 
Duntlaun 一 ax， (i=k 二 1,k 二 2,.,n), 
j=1 


注意 ,sur (j 二 1,2,… ,一 1) 均 已 知 ,wn 在 上 一 步 已 求 出 ,假设 ww 隆 0, 则 可 求 出 工 的 
第 & 列 
hl 
oz 一 Dlyun 
la 二 ， (i 二 十 1,k 二 2,…,n) 。 C921> 


Um 


上 述 过 程 可 一 直 重 复 ,直至 k= 二 =n。 注意 ,L 的 第 n 列 不 需要 计算 。 这 种 LU 分 解 的 方法 
。 83 。 
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称 为 直接 三 角 分 解 方法 ,算法 描述 如 下 。 


算法 3.6: 和 矩阵 的 直接 LU 分 解 算法 
输入 : A, nn; 输出 : 4. 
For & 王 1，2，…，7 一 1 
If aw 二 0 then 停止; 
For i 二 k 十 1, k 十 2, …,n 《计算 工 和 矩阵 的 第 上 列 } 
For j=]1, 2, .…, k—1 
dik san Aadays 
End 
aik :=aik/ams 
End 
For ;=k 二 1, k++2, ,nn {计算 器 和 矩阵 的 第 k 十 1 行 } 
For ;一 1，2，…，A 
Qt 一 QI RHIiAG 
End 
End 
End 


与 前 面 的 算法 一 样 ,结果 和 矩阵 工 和 的 数据 覆盖 原始 矩阵 4。 由 于 立 的 第 一 行 工 的 
最 后 一 列 不 需要 计算 ,算法 中 先 求 工 的 第 &A 列 , 再 求 U 的 第 & 十 1 行 ,依据 的 计算 公式 分 别 
为 式 (3. 21) 和 式 (3. 20) 。 算 法 3.6 中 乘除 法 的 次 数 为 


2D 0 = 3 一 De) 2z( 志 一 地 )= 村， 

与 算法 3.5 的 计算 量 基本 相同 。 

事实 上 ,可 以 证 明 上 述 直 接 LU 分 解 的 计算 结果 与 高 斯 消去 过 程 的 结果 完全 一 样 ,它们 
的 前 提 都 是 主 元 a 入 关 0(k==1,2,…,n 一 1), 因 此 它 属 于 高 斯 消去 法 的 一 种 变形 0。 算 
法 3.6 与 算法 3. 5 的 不 同 之 处 在 于 , 它 比 较 直 接地 算出 L 和 U 中 的 元 素 , 而 不 需要 经 过 多 
次 数值 的 更 新 。 对 于 稠密 矩阵 (采用 二 维 数组 存储 ) 的 情况 ,不 同 高 斯 消去 法 的 变形 完全 等 
价 ,计算 量 没 有 什么 差别 。 但 对 于 某 些 稀 玻 矩阵 (采用 特殊 的 方式 存储 矩阵 , 详 见 3.6 节 ) 或 
者 并 行 计 算 环境 ,这 些 不 同 算法 的 效率 可 能 差别 很 大 。 

最 后 说 明 一 点 ,以 上 讨论 的 LU 分 解 都 称 为 杜 利 特 尔 (Doolittle) 方 法 ,由 它 得 到 工 和 矩阵 
为 单位 下 三 角 和 矩阵 ,U 为 单位 上 三 角 和 矩阵 。 和 矩阵 的 另 一 种 LU 分 解 称 为 克 劳 特 (Crout) 方 
法 ,其 中 二 矩阵 为 单位 下 三 角 和 矩阵 ,U 为 单位 上 三 角 和 矩阵 。 


3.3.3 LU 分 解 的 用 途 


采用 矩阵 的 LU 分 解 , 不 但 得 到 简洁 的 数学 表达 式 ,而 且 便于 高 效率 地 解决 实际 遇 到 的 
线性 方程 组 求解 问题 。 假 设 已 知 和 矩阵 的 LU 分 解 , 即 A==LU, 则 方程 (3. 1) 的 解 为 


四 矩阵 的 LU 分 解 可 采用 多 种 形式 不 同 、 但 数学 上 等 价 的 算法 实现 ,它们 都 可 看 成 是 高 斯 消去 法 的 变形 。 
。84 。 
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w= =U "Lb 
它 通过 两 步 完 成 。 先 求解 单位 下 三 角 方程 组 Ly 二 b 得 到 y 二 L 'b, 青 求解 上 三 角 方 程 组 
Ux 二 y。 求 解 上 三 角 方程 组 的 算法 为 算法 3.2, 下 面 给 出 求解 单位 下 三 角 方程 组 Lx==b 的 算法 。 


算法 3.7: 求解 单位 下 三 角 方程 组 的 前 代 过 程 
输入 : 工 , n, b; 输出 : x. 
or ?== 1 2 7 

Xi :=bi; 

For j=1, 2,.…, i—1 

Wi 

End 

End 


算法 3.7 利用 了 单位 下 三 角 和 矩阵 对 角 线 元 素 为 1 的 特点 ,对 应 的 计算 公式 为 


Zi 一 和 Ti 一 Li 一 ry (i = 2,3,""",n) 。 (3.22) 


该 算法 的 计算 复杂 度 与 算法 3.2 一 样 , 即 需要 大 约 蕊 次 浮 点 数 乘除 法 。 

实际 应 用 中 还 经 常 遇 到 方程 的 右 端 项 发 生 改 变 的 情况 , 若 直接 用 高 斯 消去 过 程 
(算法 3.1、3.2) 求 解 , 则 要 重复 消去 过 程 ,整个 计算 量 要 翻 倍 。 基 于 和 矩阵 的 LU 分 解 ,只 对 
新 的 右 端 向 量 执行 前 代 和 回 代 过 程 即 可 。 假 设 需 要 对 m 个 不 同 的 右 端 项 求 相应 的 解 ( 称 为 
多 右 端 方 程 组 问题 )， 则 总 计算 量 约 为 世 十 mw? (乘除 法 次 数 或 加 减法 次 数 ) 。 下 面 给 出 求解 
多 右 端 方程 组 

Axi=b, (i= 1,2,.,m) (3.23) 

的 算法 描述 。 


算法 3.8: 利用 LU 分 解 求解 多 右 端 方程 组 
输入 : 4,， 10 一 1,2,…,7; 输出 :xi 一 1,2， ,7 
执行 算法 3. 5 或 算法 3.6 对 4 进行 LU 分 解 ; 
For zz 一 1，2.…，7 

执行 算法 3.7 求解 Ly; 二 b;; 

执行 算法 3.2 求解 Ux; 二 yy;; 
End 


基于 LU 分 解 也 可 求 矩 阵 A 的 逆 矩 阵 , 其 基本 思路 是 : 采用 算法 3.8, 并 令 nn 个 右 端 向 
量 为 单位 矩阵 工 的 各 列 ,依次 得 到 4 一 的 各 列 。 应 注意 的 是 ,为 了 提高 计算 效率 , 需 根据 单 
位 和 矩阵 列 向 量 的 特点 优化 前 代 ( 算 法 3. 7) 和 回 代 过 程 (算法 3.2), 使 总 的 计算 量 降 为 约 
次 乘除 法 ,与 利用 高 斯 - 约 当 消去 法 的 算法 3. 4 一样 。 
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3.4 选 主 元 技术 与 算法 稳定 性 


本 节 首 先 讨论 高 斯 消去 过 程 需 要 选 主 元 的 情况 和 选 主 元 带 来 的 好 处 ,然后 介绍 使 用 部 
分 主 元 技术 的 LU 分 解 以 及 其 他 选 主 元 技术 ,最 后 讨论 高 斯 消去 法 的 稳定 性 。 


3.4.1 为 什么 要 选 主 元 


在 高 斯 消去 过 程 和 高 斯 - 约 当 消去 过 程 中 ,都 做 了 主 元 中 天 0,(R 王 1,2,…,2 一 1) 的 假 
设 ,矩阵 的 直接 LU 分 解 (算法 3.6) 也 有 相同 的 要 求 。 下 面 先 给 出 一 个 定理 ,说 明 如 何 判断 
对 一 个 矩阵 实施 高 斯 消去 过 程 会 不 会 出 现 零 主 元 。 

定理 3.15: 对 于 和 矩 阵 AE R"”" ,实施 高 斯 消去 过 程 时 不 出 现 零 主 元 的 充 要 条 件 是 ,4 的 
前 ”一 1 个 顺序 主子 式 均 不 为 零 , 即 det(Ai) 关 0,(k 二 1,2,…,n 一 1)。 

【证 明 】 先 证 明 必要 性 , 即 由 主 元 均 不 为 零 推 出 前 * 一 1 个 顺序 主子 式 不 为 零 。 假 设 和 矩阵 


4 经 过 At 一 1 步 消去 过 程 后 变 为 矩阵 4”, 如 图 3-8 所 a oo a a 
示 , 则 i 
A® = Me MoMIA A®= a a 

=>A = Mi'Mi' :ME AY ， () i 

其 中 ,Mi ,Ms，… ,Mi i 为 一 1 个 不 同类 型 的 消去 矩阵 ， a a a 


则 M==M7T!IMa?… Mi 为 单位 下 三 角 和 矩 阵 ( 根 据 定理 图 3-8 高 斯 消去 过 程 中 的 矩阵 A 中 
3.13) ,而 4=MA4% 。 和 矩阵 4 的 &A 阶 主子 矩阵 4 等 于 
M 与 4 史 的 & 阶 主子 矩阵 之 乘积 ,而 它们 分 别 为 单位 下 三 角 矩 阵 与 非 奇异 上 三 角 抢 阵 ( 见 图 
3-8) ,所 以 A 非 奇异 ,det(Ai) 关 0,(k==1,2,*…,n 一 1)。 

再 证 明 充分 性 , 即 由 前 ”一 1 个 顺序 主子 式 不 为 零 推出 主 元 均 不 为 零 。 显 然 ,第 一 个 主 
元 中 三 改天 0, 下 面 证 明 其 他 主 元 也 不 等 于 零 。 采 用 反 证 法 ,不 妨 设 前 & 一 1 个 主 元 均 不 为 
零 , 而 a 多 ==0(2 过 kn 一 1) ,因此 可 实施 & 一 1 步 消去 得 到 如 图 3-8 所 示 的 4% 。 应 注意 的 
是 ,4 的 & 阶 主子 矩阵 对 角 线 上 有 零 元 素 ,为 奇异 和 矩阵。 而 4 的 A 阶 主子 矩阵 4 非 奇异 ， 
它 经 过 高 斯 消去 变换 变 成 4 的 A 阶 主子 矩阵 ,也 应 该 是 非 奇 异 矩 阵 , 因 此 产生 矛盾 。 所 
以 , 必 有 主 元 a 凡 关 0,(k==1,2,…,n 一 1)。 国 

结合 定理 3. 14 和 定理 3. 15 可 看 出 ,矩阵 4 存在 唯一 的 LU 分 解 的 充 要 条 件 是 4 的 前 
7 一 1 个 顺序 主子 式 均 不 为 零 。 应 注意 的 是 , 若 不 满足 前 ?一 1 个 顺序 主子 式 均 不 为 零 的 条 
件 , 和 矩阵 4 也 可 能 有 无 穷 多 个 LU 分 解 。 此 外 ,即使 矩阵 A 不 存在 LU 分 解 ,也 不 意味 着 A 
是 奇异 矩阵 。 

例 3. 10( 不 能 做 LU 分 解 的 非 奇异 矩阵 ) : 试 求 下 述 线性 方程 组 系数 矩阵 的 LU 分 解 ， 
并 判断 该 线性 方程 组 的 可 解 性 : 


2zz 一 2 
ee =4° 


. 
【 解 】 系数 矩阵 为 4=|; | | .第 一 个 主 元 cn 一 0, 无 法 执行 高 消去 过 程 ,而 且 即 使 
采用 待定 系数 法 ,也 无 法 求 出 和 U, 因 此 矩阵 4 不 能 进行 LU 分 解 。 另 一 方面 ,由 于 
人 
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det(4) 王 一 6, 和 矩阵 4 非 奇 异 , 该 方程 有 唯一 的 解 :zi 一 1,zs* 一 1。 国 
存在 无 穷 多 种 LU 分 解 的 例子 也 很 容易 构造 。 例 如 ,将 例 3. 10 中 的 系数 矩阵 改 


a 


再 说 明 一 点 ,满足 定理 3. 15 的 条 件 只 表明 和 矩 阵 4 存在 唯一 的 LU 分 解 , 并 不 说 明 它 


i | Ket, 

工 U。 这 种 奇异 矩阵 做 LU 分 解 得 到 的 U 和 矩阵 最 后 一 个 对 角 元 为 零 , 无 法 执行 回 代 过 程 
(算法 352 

对 于 实际 常 遇 到 的 非 奇异 线性 方程 组 ,可 采用 选 主 元 (pivoting) 的 方法 解决 高 斯 消 
去 过 程 中 出 现 零 主 元 的 问题 。 假 设 第 & 步 消去 过 程 主 元 a 多 二 0, 则 可 将 方程 组 的 第 
行 和 它 后 面 第 关 (z 过 A) 行 交换 ,只 要 cg 和 0, 交 换 后 得 到 矩阵 的 当前 主 元 就 不 为 零 ， 
可 继续 高 斯 消去 过 程 。 显 然 , 实 施 这 种 交换 变换 不 改变 原 方程 的 解 ,并 且 通 过 它 一 定 
能 “ 选 出 ”一 个 不 为 零 的 主 元 。 这 一 点 可 以 通过 如 图 3-8 所 示 的 矩阵 A“ 说明, 根据 行 
列 式 det(A ) 的 计算 方法 ,可 证 明 列 元 素 a 如 ,… ,a 叹 中 至 少 有 一 个 不 等 于 零 。 将 这 个 
结论 归纳 为 如 下 定理 。 

定理 3. 16: 设 和 矩阵 AE R"”", 且 非 奇 异 , 若 对 4 实施 高 斯 消去 过 程 时 主 元 a 个 = 二 0, 则 该 
列 下 方 至 少 有 一 个 元 素 不 为 零 , 即 存在 ii 记 k,as% 取 0。 

上 述 选 主 元 过 程 保 证 了 高 斯 消去 法 的 顺利 进行 。 此 外 , 选 主 元 还 有 减 小 计算 误差 的 作 
用 。 由 于 消去 过 程 中 的 乘 数 mi = 一 a 如 /a 多 , 若 使 主 元 a 多 的 值 尽 可 能 大 , 则 得 到 绝对 值 较 
小 的 ma ,用 它 乘 以 当前 矩阵 行 加 到 其 他 行 时 可 减 小 对 操作 数 上 数据 误差 的 放大 。 

例 3. 11( 小 主 元 的 情况 ) : 解 线性 方程 组 


el 

Ax = = ， 

1 1]1JLzs E 

其 中 ,e 为 一 个 很 小 的 正 数 (小 于 浮 点 系统 机 器 精度 ewwcs 的 一 半 ) ,如 果 不 做 行 交换 ,得 到 消去 
过 程 的 乘 数 为 一 1/se ,做 一 次 消去 后 , 增 广 矩 阵 为 


| 1 1 | 
0 1—1/eie—1/e]’ 


由 于 1 和 1/e 的 值 相差 悬殊 ,做 浮 点 数 加 减 时 1 会 被 1/e 吞 没 "定理 1.6)。 同 理 ,s 也 会 被 
1/e" 香 没 "。 因 此 ,在 浮 点 计算 中 增 广 矩 阵 为 


E | | 
0 三 Te 一 ie 
解 出 zs 一 1,zi 一 (1 一 1)/e 一 0 。 


容易 算出 这 个 方程 的 准确 解 为 好 二 1 十 ss1, 立 一 一 1。 可 见 , 数 值 解 zi 的 误差 非常 
大 。 上 述 高 斯 消去 过 程 对 应 的 LU 分 解 为 


| i "| | 1 | | 1 | 
L= ，U= = 入 
Te 1 0 ‘= le 0 —1/e 


最 后 一 个 等 号 是 由 于 1 和 1/e 的 值 相差 悬殊 。 但 是 ， 


非 奇异 。 例如 ,奇异 矩阵 4 一 | ] 1, 它 R 有 个 主 元 cn 一 1, 易 知 4 一 | ， ls ,上 = 


束 -所 站 才 
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w=[! 中 i -Ff 4 
ve 1Jlo ~1el Lo 


这 也 说 明 小 主 元 造成 了 不 可 恢复 的 信息 损失 。 
如 果 交 换行 , 主 元 变 为 较 大 的 1, 则 对 应 得 到 增 广 和 矩阵 


| 1 | 
ee 
利用 乘 数 为 s 做 一 次 消去 后 ,得 到 


|, 1 : & | 
0 1—e:1l—e| 


考虑 浮 点 计算 的 舍 人 ,实际 计算 的 增 广 矩 阵 为 


| 
| 1 中 
由 此 解 出 zs 王 1,z 三 es 一 1 一 一 1， 它 与 准确 解 非常 接近 。 国 
例 3. 11 当然 是 很 极端 的 情况 ,但 它 说 明了 小 主 元 带 来 的 误差 危害 。 综 上 所 述 ,通过 选 
主 元 ,一 方面 可 解决 高 斯 消去 过 程 算法 中 断 的 问题 , 男 一 方面 也 可 减少 小 主 元 带 来 的 误差 
危害 。 


3.4.2 使 用 部 分 主 元 技术 的 LU 分 解 


基于 3.4.1 节 的 讨论 ,假设 矩阵 4 非 奇异 ,在 高 斯 消去 的 第 & 步 可 选择 加 , (i 之 k)， 
使 得 


CA) 四】 
CQ | ng max | 名 ， 
和 kin 


即 当 前 列 未 消去 部 分 的 最 大 元 素 , 若 关 夫 A, 交 换 矩 阵 4 的 第 i 行 与 当前 的 第 & 行 ,实现 选 主 
元 。 这 种 做 法 称 为 部 分 主 元 (partial pivoting) 消 去 法 ,或 列 主 元 消去 法 。 采 用 它 之 后 , 既 可 保证 
主 元 不 等 于 零 ,也 可 保证 消去 时 的 乘 数 不 超过 1, 达 到 抑制 数据 误差 放大 ,传播 的 作用 。 
下 面 推导 部 分 主 元 高 斯 消去 法 对 应 的 矩阵 分 解 形 式 。 先 讨论 初等 交换 矩阵 的 性 质 。 
定理 3.17: 设 初 等 交换 矩阵 Pi 为 交换 单位 矩阵 工 的 第 & 行 和 第 去 (六 盖 A) 行 得 到 的 矩 
阵 ( 见 图 3-9) , 则 
(1) 已 是 对 称 和 矩阵 , 即 PI=P,。 


0 1 第 行 (2) Pi 的 闭 矩 阵 为 自身 , 即 Pr 一 已 ,PP 一 工 。 
… (3) 将 Pi 右 乘 某 个 矩阵 实现 矩阵 列 的 交换 , 即 MP 的 
1 0 . 第 冯 行 ”结果 为 将 矩阵 M 的 第 k 列 与 第 i 列 交换 。 
本 基于 不 选 主 元 高 斯 消去 过 程 的 矩阵 表示 ,部 分 主 元 消 
图 3-9 初等 交换 矩阵 P。 去 过 程 可 表示 为 
MiP. 1°*M,P,M.P.A =U, (3.24) 


其 中 ,矩阵 Pi(k 二 1,2,…,n 一 1) 为 初等 交换 和 矩阵 或 单位 矩阵 , 它 使 矩阵 的 第 上 行 和 第 
认 《 计 三 &) 行 交换 (单位 矩阵 与 庆 二 的 情况 对 应 )。 和 矩阵 Mi (k= 二 1,2,…,n 一 1) 为 第 
类 消去 矩阵 ,U 为 上 三 角 和 矩阵 。 这 里 ,将 单位 矩阵 视 为 一 种 特殊 的 初等 交换 矩阵 , 它 也 
满足 定理 3. 17 的 前 两 条 性 质 。 
在 方程 (3. 24) 等 号 两 边 同 时 乘 以 Mz ,得 
88 。 
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P.M, :P，…MiPA4 = MU, (3::25) 
根据 初等 交换 矩阵 的 性 质 (2), 有 
P, 1M, (PP 1)P, aMiPA = MU, (3. 26) 


式 (3.26) 中 ,P,_1M,-sP,-1 等 价 于 将 矩阵 M,-, 的 第 n 一 1 行 和 某 个 第 i,_1(is-1 宇 n 一 1) 行 进 
行 交 换 , 然 后 再 对 结果 矩阵 实施 第 "一 1 列 和 第 i,_1 列 交换 ,由 消去 矩阵 的 结构 特点 ( 见 
式 (3.11)), 易 知 P,_1M,_zP,_1 仍 然 是 第 nn 一 2 类 消去 矩阵 , 记 为 M,-;( 见 图 3-10)。 方程 
(3. 26) 可 改写 为 


MsP, 1P, »°…MPA = MU, (3.27) 和 
等 号 两 边 再 乘 以 Mi ,得 
了 PP， MP，:…MiPA 一 MaMzU。 (3.28) 
类 似 地 ,在 M,_; 和 P, ;之 间 插入 已 _,P，,P，,P，, ,由 于 它 等 pd 


Pin—1,n—2 1 


于 单位 矩阵 ,这 将 不 改变 等 式 ,得 到 的 方程 为 
(PP，: M，: PP，)P， PP，: MD PA 

一 Mh Md. (3. 29) 
同样 ,可 以 证 明 M，: 二 P,_1P,_:M,_;P,_:P,_1 为 第 n 一 3 类 消去 矩阵 , 它 只 是 在 M,-_; 的 基础 
上 重新 排列 了 对 角 线 下 方 第 n 一 3 列 元 素 的 位 置 。 由 式 (3. 29) 得 

了 P，:P，:M，,P，…MiPA = MM MU, 
这 个 过 程 一 直 重 复 , 最 后 得 到 
P,P, ;2°*%PiA = Mi'*… Mi MA Us (3. 30) 

记 工 一 Mi …MzMz ,根据 定理 3. 13 ,和 矩阵 工 为 单位 下 三 角 和 矩阵 。 令 P=P,_1P,-,…Pi， 
则 得 到 


图 3-10 一 种 可 能 的 M，， 


PA=LU.。 C9. 

式 (3. 31) 为 部 分 主 元 高 斯 消去 法 的 矩阵 形式 ,其 中 工 为 单位 下 三 角 和 矩阵 ,U 为 上 三 角 拢 
阵 , 已 是 一 系列 初等 交换 矩阵 的 乘积 。 已 是 对 单位 矩阵 做 行 交 换 得 到 的 矩阵 ,因此 它 的 每 行 
及 每 列 都 只 有 一 个 元 素 为 1, 可 看 成 是 由 单位 矩阵 经 行 或 列 的 重 排 而 得 到 ,这 种 矩阵 称 为 排 
列 和 矩阵 (permutation matrix) 或 置换 答 阵 。 容 易 证 明 ,排列 矩阵 是 一 种 特殊 的 正 交 和 矩阵 , 即 
P71 二 PY。 由 于 排列 矩阵 的 特殊 性 ,可 用 一 个 长 度 为 的 整 型 数组 表示 阶 排列 矩阵 P, 其 
第 i 个 单元 存储 P 中 第 i 行 的 1 所 在 的 列 编号 。 

与 高 斯 消去 过 程 类 似 ,上 述 和 矩阵 工 的 元 素 为 n 一 1 个 消去 矩阵 Mi ,Mi ,…, MD ， 
Ma 的 “合并 ”, 它 的 严格 下 三 角 部 分 元 素 由 乘 数 的 相反 数 构成 。 值 得 注意 的 是 ,Mt = 
Pi…PirMiPin…P,_1(k 二 1,2,…,n 一 2) ,因此 其 第 k 列 元 素 的 顺序 不 同 于 原始 的 Mi。 
它 恰好 反映 了 经 过 一 系列 后 续 行 交换 的 结果 (参考 图 3-10) 。 所 以 ,将 这 些 乘 数 存 于 和 矩阵 对 
角 线 下 方 (“ 原 地 工作 ?方案 ) 时 ,对 整个 矩阵 执行 行 交 换 即 可 。 综 合 上 述 讨论 ,得 到 采用 部 分 
主 元 消去 法 的 LU 分 解 算法 。 


算法 3. 9: 部 分 主 元 高 斯 消去 法 进行 LU 分 解 
输入 : A, nn; 输出 : 4, 一 维 数组 p. 

2 

For k=1, 2, **, n—1 


。89 。 
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算法 3.9 中 ,采用 原 地 工作 的 存储 方案 ,矩阵 工 和 U 覆盖 了 原始 的 矩阵 4 。 算 法 中 使 用 
数组 p 记录 行 交换 的 结果 ,交换 和 矩 阵 的 第 & 行 .第 s 行 即 相当 于 交换 p 的 第 个 .第 ;个 存 
储 单元 的 值 。 最 终 ,数组 p 表示 了 一 种 新 的 行 排列 顺序 ,以 它 调整 单位 矩阵 即 得 到 矩阵 P。 

例 3. 12 (部 分 主 元 高 斯 消去 过 程 ): 用 部 分 主 元 高 斯 消去 法 将 矩阵 


1 2 2 
4 4 2 
4 6 4 


三 王 


进行 LU 分 解 , 求 相应 的 矩阵 工 .I 和 P。 
【 解 】 将 矩阵 4 存储 为 二 维 数组 4 ,初始 化 数组 p= 二 [1, 2, 3], 下 面 说 明 4 和 pp 中 数据 
的 变化 过 程 。 由 于 和 矩阵 4 第 一 列 最 大 元 素 为 4, 所 以 交换 第 一 .第 二 行 ,得 到 


4 4 2 
| 2 中 
4 6 4 


相应 地 ,交换 p 的 元 素 ,得 到 p 二 [2, 1, 3]。 消 去 矩阵 4 第 一 列 对 角 线 下 方 的 元 素 , 得 


4 4 2 
A=|0 1 3/2|， 
0 2 2 


使 用 的 乘 数 为 m2 二 一 1/4, ms 二 一 1, 以 其 相反 数 填 人 数组 4, 得 


4 4 2 
-| 和 "| 


1 没 2 
第 二 列 对 角 线 及 其 下 方 的 最 大 元 素 为 2, 因 此 交换 第 二 行 .第 三 行 , 得 


4 4 2 
A= 这 ， 
1/4 LT 3 


。 90 。 
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相应 地 ,交换 p 的 元 素 ,得 到 2 一 [2, 3, 1]。 消 去 矩阵 4 第 二 列 对 角 线 下 方 的 元 素 ,得 


4 4 2 
A= 1..2 2 
1/4 0 1/2 
使 用 的 乘 数 为 ms 三 一 1/2, 以 其 相反 数 填 人 数组 4, 得 
4 4 2 
A= 1 2 :|. 
1/4 1/2 1/2 
二 维 数 组 中 同时 存储 了 矩阵 LL 和 UU, 它们 分 别 是 
1 0 0 4 4 2 
L= 1 1 0|, U=|0 2 :| 
1/4 1/2 1 0 0 1/2 


数组 p 表示 对 单位 矩阵 的 行 重新 排列 的 顺序 , 依 此 重新 排列 单位 矩阵 ( 取 单 位 矩阵 的 第 
[站 行为 新 矩阵 的 第 i 行 ), 则 得 到 和 矩阵 P 


0 1 0 
| 
让 和 二 区 
不 难 验 证 ,上 面 求 出 的 LU 和 PP 满足 
全 这 扩 宁 入 入 ' 索 1 0 O14 4 3 
moo- 1 | 冯 2|=LU 。 
1 0 OL4 6 Ta 2 TO 0 2 国 


例 3.12 中 的 矩阵 4 与 例 3.8、 例 3.9 中 的 相同 ,采用 部 分 选 主 元 技术 进行 消去 时 乘 数 
( 即 矩阵 世 的 对 角 线 下 方 元 素 ) 都 不 超过 1, 因 此 得 到 不 同 的 L 和 U。 从 这 个 例子 看 出 ,部 分 
主 元 的 LU 分 解 比 一 般 的 LU 分 解 增加 了 n 一 1 次 求 最 大 值 的 运算 ,以 及 若干 次 矩阵 行 的 交 
换 , 而 在 存储 量 方面 只 增加 了 一 个 长 度 为 n 的 整 型 数组 。 事实 上 ,和 矩阵 行 的 交换 也 可 不 显 式 
地 进行 ,也 就 是 说 ,不 交换 二 维 数组 的 元 素 ,而 通过 数组 p 跟踪 新 的 行 次 序 , 将 取 和 矩阵 第 i 
行 、 第 j 列 元 素 的 操作 由 A(i, 站 变 为 A(p[ 门 , 站) 即 可 。 最 后 ,利用 数组 户 得 到 所 需 的 工 
和 U。 

例 3. 13( 不 显 式 进行 行 交换 的 部 分 主 元 消去 过 程 ) : 不 显 式 进行 行 交换 ,用 部 分 主 元 高 
斯 消去 法 分 解 矩阵 


再 过 


1 2 2 
4 4 2 
4 6 4 


【 解 】 将 4 存储 为 二 维 数 组 A。 下 面 说 明 A 中 数据 的 变化 过 程 。 
第 一 步 消去 过 程 ,p= 二 [2，1，3], 乘 数 ma = 二 一 A(p[2], 1)/A(p[1], 1)= 一 1/4， 
ma 二 一 A(p[L3], 1)/A(p[L1j, 1)== 一 1, 这 里 利用 p[ 疏 来 索引 行 交换 后 矩阵 的 第 i 行 ,使 用 
同样 的 方法 更 新 其 他 元 素 ,得 到 
及 生 沪 2 
-| 4 4 :| 。 


2 2 
ee 
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第 二 步 消 去 过 程 ,考查 A(p[2], 2) 和 A(p[L3], 2), 需 交换 第 二 行 , 第 三 行 ,得 到 /一 
[2, 3, 1], 乘 数 mss 二 一 A(p[3], 2)/A(p[2], 2) 二 一 1/2。 类 似 地 ,更 新 A 未 消去 部 分 的 


其 他 元 素 ,得 到 
1/4 1/2 1/2 
A= | 4 4 :| a 


2 2 
最 后 ,根据 A 和 户 的 值 ,可 以 得 到 矩阵 工 和 避 。 
| 0 0 4 4 
到 主 1 OE 二 人 光 2 
1/4 1/2 1 0 0 2 国 


不 显 式 进行 矩阵 的 行 交换 使 得 数据 移动 量 最 小 化 ,在 某 些 情况 下 可 能 提高 算法 的 执行 
与 不 选 主 元 的 高 斯 消去 法 一 样 ,利用 部 分 主 元 的 LU 分 解 (方程 (3. 31)) 可 方便 地 求解 
线性 方程 组 Ax==b ,得 到 
A 
此 公式 表明 ,根据 数组 p 对 右 端 向 量 b 进行 重新 排列 后 , 青 执行 算法 3.7 和 算法 3. 2 便 能 得 
到 线性 方程 组 的 解 。 该 方法 不 会 出 现 算法 中 断 , 且 能 有 效 减 小 数值 误差 ,同样 也 适合 于 多 右 
端 线性 方程 组 的 求解 。 


3.4.3 其 他 选 主 元 技术 


除了 部 分 主 元 ,还 可 以 采取 全 主 元 技术 (complete pivoting) 达 到 防止 算法 中 断 和 减 小 
数值 误差 的 目的 。 全 主 元 技术 在 未 消去 的 子 矩 阵 所 有 元 a 8 ee, 名 
素 中 选 一 个 最 大 的 ( 见 图 3-11) ,通过 行 、. 列 交换 将 其 交 


换 到 当前 对 角 元 的 位 置 。 应 当 注 意 的 是 ,为 保证 解 的 不 4%= 2 
变性 , 列 交换 后 应 相应 地 交换 解 向 量 中 的 对 应 分 量 。 由 II 
于 不 仅 要 做 行 交 换 , 也 要 做 列 交换 ,因此 全 主 元 方法 对 应 2 YE 


形式 为 图 3-11 第 k 步 消去 过 程 的 矩阵 A 中 
P4O = LU (3. 32) (其 中 阴影 部 分 为 未 消去 的 子 矩 阵 ) 

的 LU 分 解 ,其 中 已 和 @ 分 别 为 对 A 的 行 和 列 进行 重 排 
的 排列 矩阵 。 方 程 (3. 32) 的 推导 与 部 分 主 元 技术 中 的 有 关内 容 非常 类 似 , 并 且 对 算法 3.9 
稍 做 修改 (增加 一 个 记录 列 交换 的 数组 g) 就 能 得 到 全 主 元 消去 过 程 的 算法 ,这 里 不 再 著述 。 

根据 式 (3. 32) ,方程 (3. 10) 的 解 为 

x=A'b= QUL PD, 

因此 ,使 用 全 主 元 技术 求解 线性 方程 组 时 , 比 部 分 主 元 方法 多 一 步 解 的 重 排 : x 二 Qz, 其 中 ， 
z 二 U1L 1!Pb。 全 主 元 方法 虽然 理论 上 极为 稳定 ,数值 误差 更 小 ,但 与 部 分 主 元 方法 相 比 ， 
寻找 主 元 的 工作 量 大 大 增加 。 因 此 ,在 实际 应 用 中 ,主要 还 是 使 用 部 分 主 元 消去 法 求解 线性 
方程 组 。 

部 分 主 元 技术 还 可 用 于 高 斯 - 约 当 消去 法 ,并 且 由 此 可 得 到 数值 稳定 的 矩阵 求 逆 算法 。 
相 比 不 选 主 元 的 方法 ,部 分 主 元 技术 只 是 对 矩阵 A 增加 一 些 初 等 行 交换 变换 , 因此 
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方程 (3. 10) 依 然 成 立 , 只 需 将 带 行 交 换 的 高 斯 - 约 当 消去 操作 依次 作用 于 单位 矩阵 , 当 和 矩阵 
4 被 约 化 为 单位 矩阵 时 ,原来 的 单位 矩阵 即 变 为 4 *。 采 用 全 主 元 进行 矩阵 求 逆 的 算法 要 
稍微 复杂 一 些 , 假 设 全 主 元 高 斯 - 约 当 消去 法 将 4 约 化 为 单位 矩阵 的 矩阵 方程 为 
EAQ 一 工 
其 中 ,E 代表 一 系列 初等 行 变换 ,排列 矩阵 8 代表 所 实施 的 所 有 列 交换 , 则 
A-! = QEI, 
因此 ,将 一 系列 行 变 换 作 用 于 单位 矩阵 ,最 后 还 要 对 结果 和 抢 阵 的 行进 行 重 排 才 得 到 4-:。 值 
得 注意 的 是 ,在 高 斯 - 约 当 消去 过 程 中 ,无 论 采 用 哪 种 选 主 元 技术 ,其 乘 数 的 绝对 值 仍 可 能 
超过 1。 对 有 关 算 法 感 兴趣 的 读者 可 参考 文献 [9]。 
算法 3.9 只 是 生成 数值 稳定 的 LU 分 解 (PA = 二 LU) 的 一 种 算法 ,将 直接 三 角 分 解 
算法 3.6 加 以 改造 ,也 可 得 到 选 主 元 直接 三 角 分 解 算法 (参见 文献 [8])。 它 们 在 数学 上 都 是 
等 价 的 。 
选 主 元 是 线性 方程 组 直接 解法 中 很 重要 的 技术 ,对 一 般 的 问题 ,只 有 选 主 元 才能 得 到 可 
行 、 准 确 的 算法 。 但 对 某 些 系数 矩阵 具有 一 定 特 点 的 问题 ,可 能 不 需要 选 主 元 。 例 如 ,对 称 
正定 矩阵 满足 定理 3. 15 的 条 件 ,因此 不 选 主 元 的 LU 分 解 也 不 会 中 断 ,更 详细 的 分 析 还 说 
明 它 是 数值 稳定 的 。 类 似 的 情况 还 有 对 角 占 优 和 矩阵 ,关于 它们 ,将 在 3. 5 节 讨论 。 


3.4.4 算法 的 稳定 性 


算法 的 稳定 性 反映 计算 过 程 中 的 误差 对 结果 的 影响 ,对 于 线性 方程 组 的 直接 解法 来 说 ， 
计算 中 的 误差 主要 是 舍 和 误差。1960 年 左右 , 威 尔 金森 提出 “向 后 误差 分 析 法 ”, 对 高 斯 消 
去 法 及 其 变种 的 算法 稳定 性 进行 了 详细 分 析 ,参考 文献 [10] 。 

假设 求解 方程 Ax=b 得 到 的 解 为 ,由 于 计算 过 程 中 的 舍 入 误差 ,因此 它 不 等 于 精确 解 
x。 使 用 向 后 误差 分 析 法 ,将 部 看 成 是 一 个 系数 矩阵 扰动 了 的 方程 的 精确 解 , 即 

(4 十 A4) 庆 一 D， 

则 扰动 量 A4 便 反映 了 舍 人 误差 的 影响 , ‖ A4 | /1 4 | 的 大 小 说 明 方程 求解 算法 的 稳定 性 。 
对 各 种 高 斯 消去 及 LU 分 解 算 法 的 分 析 表 明 ,向 后 误差 大 体 上 满足 如 下 估计 式 ( 参 见 文献 [1]) 


| A41 = 
TAT. 


其 中 ,o 称 为 增长 因子 ,是 消去 过 程 中 矩阵 4% 中 最 大 元 素 除 以 矩阵 4 中 最 大 元 素 得 到 的 比值 ， 
7 为 矩阵 的 阶 数 ,sm 为 机 器 精度 (对 IEEE 双 精 度 浮 点 数 , 约 为 10 5)。 在 最 坏 情况 下 ,增长 因 
子 o 也 就 是 矩阵 U 最 大 元 素 与 矩阵 A 最 大 元 素 的 比值 。 

式 (3.33) 是 对 向 后 误差 上 限 的 估计 ,其 中 ,增长 因子 op 既 与 具体 的 矩阵 4 有 关 , 也 与 求解 
算法 有 关 。 对 不 同 的 算法 ,可 分 析出 矩阵 4 变化 时 op 的 上 限 ,由 此 看 出 算法 稳定 性 的 不 同 。 

对 于 不 选 主 元 的 高 斯 消去 法 (以 及 LU 分 解 ),o 可 以 任意 大 ,因此 算法 是 不 稳定 的 。 对 
于 采用 部 分 主 元 的 LU 分 解 ,可 证 明 p 过 2”! ,而 且 大 量 的 实践 表明 ,o 的 值 通常 很 小 。 因 此 ， 
一 般 认 为 部 分 主 元 高 斯 消去 法 是 稳定 的 。 对 于 全 主 元 高 斯 消去 法 (以 及 相应 的 LU 分 解 ) , 
可 证 明 o 的 上 限 比 部 分 主 元 的 情况 更 小 ,其 算法 的 稳定 性 更 好 。 


A pnemach ， (3. 93 
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3.5 对称 正定 矩阵 与 带 状 矩阵 的 解法 


针对 特殊 情况 的 线性 方程 组 ,高 斯 消去 法 还 有 一 些 变种 ,本 节 介 绍 比较 常用 的 对 称 正 定 
和 抢 阵 的 楚 列 斯 基 (Cholesky) 分 解 和 带 状 线性 方程 组 的 解法 。 


3.5.1 对 称 正定 矩阵 的 Cholesky 分 解 


对 称 和 矩阵 A 的 元 素 关于 对 角 线 对 称 (a; ==aj) ,因此 可 节省 将 近 一 半 的 存储 空间 。 在 求 
解 系数 矩阵 为 对 称 和 矩阵 的 线性 方程 组 时 ,是 否 也 能 利用 这 种 对 称 性 减少 计算 量 呢 ? 

1. 对 称 矩 阵 的 LDLT 分 解 

对 和 矩阵 4, 将 其 LU 分 解 中 的 U 和 矩阵 写成 对 角 和 矩阵 乘 以 单位 上 三 角 和 矩阵 的 形式 : 


Un 1 wz/ /un 
U 二 U22 . Y ~ A = DU,, 
Wy 1 
其 中 ,Uo 为 单位 上 三 角 和 矩 阵 ,D 为 对 角 和 矩阵 ,因此 得 到 
A = LDU,. (3.34) 
若 4 为 对 称 和 矩阵 , 则 
A DLE, (3. 35) 


其 中 ,U3 为 单位 下 三 角 和 矩阵 ,DEL 为 上 三 角 和 矩阵 ,根据 LU 分 解 的 唯一 性 ( 设 它 成 立 ) ,U3 一 工 ， 
方程 (3. 35) 变 为 
4 一 LDLT。 
结合 定理 3. 14 和 定理 3. 15 ,得 到 如 下 定理 。 
定理 3.18: 设 A 为 n 阶 对 称 和 矩阵 , 且 A 的 顺序 主子 式 Di 隆 0, (k= 二 1,2,…,n 一 1), 则 A 
可 以 唯一 地 分 解 为 
DE (3.36) 
其 中 ,L 为 单位 下 三 角 和 矩阵 ,D 为 对 角 和 矩阵 。 
注意 : 当 和 矩阵 4 奇异 时 ,D 的 最 后 一 个 对 角 元 素 为 零 。 
2. Cholesky 分 解 
设 矩 阵 4 为 对 称 正定 矩阵 ,显然 满足 定理 3. 18 的 条 件 ,可 分 解 为 LDLE5 的 形式 。 此 外 ， 
易 知 对 角 和 矩阵 D 的 对 角 线 元 素 wz 二 0,(i 王 1.2,…,7) ,这 是 因为 Vx 天 0, 设 x=LIy, 由 工 7 
的 非 奇 异性 可 推出 y 取 0, 则 xDx 王 yLDLTy 王 74y 二 0, 因 此 了 为 对 称 正定 矩阵 ,其 对 角 


线 元 素 一 定 大 于 0。 用 三 表 示 对 角 和 矩阵 


站 
则 方程 (3. 36) 变 为 

A 一 LDEDELT = LLT, 
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其 中 ,Li 二 LD 为 下 三 角 和 矩阵 , 且 对 角 线 元 素 为 Vi ,…, Vi , 均 大 于 0。 依据 上 述 分 析 ， 
得 到 下 面 的 Cholesky 分 解 定 理 。 

定理 3.19: 设 A 为 实 对 称 正定 矩阵 , 则 存在 非 奇 异 下 三 角 和 矩阵 工 ,使 得 A 二 LLT ,其 中 ， 
LL 的 对 角 线 元 素 均 大 于 零 ,这 种 分 解 称 为 Cholesky 分 解 (Cholesky decomposition), 且 满足 
上 述 条 件 的 分 解 是 唯一 的 。 

Cholesky 分 解 也 常 写成 A 二 RTR 的 形式 ,其 中 R 为 上 三 角 和 矩阵 。 

3.Cholesky 分 解 算法 

上 述 推导 过 程 实际 上 给 出 了 一 种 计算 Cholesky 分 解 的 方法 。 它 首先 对 A 做 LU 分 解 ， 
再 求 对 角 矩 阵 D 和 Cholesky 分 解 因子 工 。 设 4 的 LU 分 解 写成 4=LoUu=LoDLI 的 形式 ， 


则 工 一 局 ID 。 这 种 方法 并 未 利用 矩阵 的 对 称 性 从 而 减 小 计算 量 ,仍然 需要 大 约 证 霹 次 乘除 


法 和 差不多 次 数 的 加 减法 运算 。 下 面 介绍 更 有 效 的 Cholesky 分 解 算法 ,也 称 为 平方 根 法 ， 
我 们 基于 直接 三 角 分 解 的 思想 推导 。 
将 Cholesky 分 解 的 等 式 A 二 LLT 写成 如 下 形式 : 


~ 


du dl dm lu la la bn 
Gal dz 0% dn | _ la 2 lz ln 
Qan dan ?am ba le lm lm 


利用 抢 阵 乘法 运算 规则 , 按 一 定 顺序 逐个 匹配 等 号 两 边 的 矩阵 元 素 , 可 以 逐一 解 出 未 知 量 。 
下 面 分 4 个 步 又 介绍 计算 过 程 。 

Cy i 

考虑 au 的 计算 ,aa = 人 之 = Van。 

(2) 求 h(i 宇 2)。 

考虑 an 的 计算 ,aa=la* 有 过 =an/ln。 

(3) 假设 蕊 矩阵 中 前 7 一 1 列 都 已 求 出 , 即 (kj 一 1,i 二 1,2,…,) 都 已 知 ,考虑 aj 的 计算 ， 


ai 一 7 度 《3.37) 


其 中 ,等 号 右边 的 量 都 已 知 。 
(4) 求 工 和 矩阵 中 第 7 列 的 剩余 元 素 , 即 5 (i 之 7) ,考虑 几 的 计算 ， 


nn An j 产 1 
a = Day = Dlala = Dlala = Dlaly t+ hls 
k=1 k=1 k=1 k=1 


1 


> = (&s 二 Du lal 2 
其 中 ,等 号 右边 的 量 都 已 知 。 
对 j 二 2,3,…,n， 重复 执 行 上 面 的 (3)、(4) 步 , 则 得 到 下 面 的 Cholesky 分 解 算 法 。 
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算法 3. 10 仅 用 到 4 的 下 三 角 部 分 元 素 , 因 此 4 的 上 三 角 部 分 不 必 存 储 。 并 且 , 算 法 得 
到 的 结果 工 和 矩阵 存放 在 原始 矩阵 4 的 位 置 上 。 经 过 简单 的 分 析 发 现 ,这 个 算法 仅 需 大 约 


Be 次 乘除 法 和 差不多 次 数 的 加 减法 运算 (忽略 n 次 求 平方 根 运算 ) ,计算 量 是 LU 分 解 算 
法 的 一 半 。 应 当 说 明 ,要 发 挥 存储 上 的 优势 , 需 将 对 称 和 矩阵 的 下 三 角 部 分 按 一 维 数组 或 其 他 
压缩 格式 存储 ( 见 3.6 节 ) ,这样 比 用 二 维 数组 存储 增加 了 一 些 存 取 和 矩阵 元 素 的 额外 开销 。 


因此 ,实用 的 程序 常 提供 压缩 存储 和 标准 二 维 数 组 两 种 存储 方式 ,让 用 户 自行 选择 。 
例 3. 14(Cholesky 分 解 ) : 计算 下 面 这 个 对 称 正定 和 矩阵 的 Cholesky 分 解 : 


Be 
二 下 全 了， 
【 解 〗 根据 算法 3. 10 进行 计算 ,由 于 只 与 矩阵 的 下 三 角 部 分 元 素 有 关 , 下 面 只 列 出 条 
阵 下 三 角 部 分 的 变化 情况 。 首 先 将 第 一 列 除 以 第 一 个 对 角 元 的 平方 根 ,WY5<2. 2361 ,得 
2.2361 0 0 
-et 3 | 
一 04492 一 1 5 


计算 第 二 个 对 角 元 ,az = Vazs 一 吗 二 V3 一 0.44725 sz1. 6733。 注 意 , 这 里 的 wy 表示 改 
变 了 的 矩阵 4 的 元 素 , 下 同 。 然 后 计算 第 二 列 余下 部 分 ,得 


2. 2361 0 0 
一 0.4472 L6733. ‘0 | 。 


FF 他 一 


一 0.4472 一 0.7171 5 
计算 第 三 个 对 角 元 ,ass = Vass 一 a 一 a 纪 二 V5 一 0. 4472 一 0.71717 人 2.0702, 得 到 所 要 的 
和 矩阵 荆 为 
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2. 2361 0 0 
五 一 | 一 人 人 7 1.6733. 0 
一 0.4492 一 07171 2.0702 国 


若 要 避免 算法 3. 10 中 的 开 方 运算 ,可 根据 LDLT 分 解 的 方程 (3. 36) 进 行 推导 ,得 到 的 
算法 称 为 改进 的 平方 根 法 , 它 与 算法 3. 10 具有 相同 的 计算 复杂 度 。 还 应 说 明 , 根 据 
定理 3. 18 ,改进 的 平方 根 法 适用 于 任意 对 称 和 矩阵 ,除非 出 现 主 元 为 零 的 情况 。 因 此 ,在 用 它 
求解 一 般 的 对 称 线性 方程 组 时 ,要 进行 选 主 元 ,而 为 了 保证 对 称 性 , 需 做 相同 的 行列 交换 ， 
即使 这 样 ,仍然 不 能 完全 避免 零 主 元 。 对 于 一 般 的 对 称 线性 方程 组 , 需 使 用 更 复杂 的 稳定 求 
解 算法 , 感 兴趣 的 读者 可 参考 文献 [1] 。 

4. 算法 稳定 性 与 Cholesky 分 解 的 应 用 

对 于 对 称 正 定 和 矩阵, 算法 3. 10 不 会 中 断 , 不 像 一 般 的 高 斯 消去 法 那样 必须 考虑 选 主 元 
的 问题 。 下 面 分 析 Cholesky 分 解 算法 的 稳定 性 。 为 了 方便 ,讨论 根据 LU 分 解 得 到 
Cholesky 分 解 算法 的 数值 稳定 性 , 即 根据 式 (3. 33) 分 析 对 称 正定 矩阵 LU 分 解 的 增长 因子 
6 的 上 限 。 将 对 称 正定 矩阵 A 进行 LU 分 解 和 LDL" 分 解 : 

A = LU = LDLT, (3. 38) 
其 中 ,L。 表示 单位 下 三 角 和 矩阵 。 若 A 的 Cholesky 分 解 为 4 王 LLT, 则 二 一 已 D ,其 中 ,Di 的 
对 角 线 元 素 与 世 的 相同 。 根 据 式 (3. 38) 得 
U=DLI => UT=LD=1Di. 


因此 ,增长 因子 
max | us | max | (UT™); | max| (LD 让 | 
Ko oj oj 
1 max|ay | max | as | max | as | 
bi i i 
由 于 对 角 和 矩阵 D3 的 对 角 线 元 素 与 工 的 相同 ,LD? 的 第 i 行 ,第 j 列 元 素 为 454; ,因此 
max | lsls | maxl$ 
p 一- Re (3. 39) 
max | as | max | a; | 
oj 


式 (3.39) 中 最 后 一 个 不 等 式 是 根据 式 (3. 37) 得 出 的 。 式 (3. 39) 说 明 , 增 长 因子 p 的 上 限 为 
1, 即 高 斯 消去 过 程 中 矩阵 元 素数 值 不 增 大 。 所 以 ,对 称 正定 矩阵 的 LU 分 解 和 Cholesky 分 
解 都 是 数值 稳定 的 。 

有 了 和 矩阵 4 的 Cholesky 分 解 ,求解 Ax==b 只 依次 执行 前 代 过 程 和 回 代 过 程 ( 先 求解 
Ly 二 5b, 再 求解 LTx 二 y) 即 可 。 此 外 ,根据 算法 3. 10 也 很 容易 判断 一 个 对 称 和 矩阵 是 否 正 定 。 
如 果 算 法 3. 10 发 生 中 断 ( 被 开 方 的 数 小 于 或 等 于 零 ) , 则 对 称 和 矩阵 4 一 定 不 是 正定 的 ; 反 过 
来 ,如 果 算 法 3. 10 顺利 执行 ,并 且 最 后 的 a, 关 0, 则 对 称 和 矩阵 4 一 定 正 定 。 

下 面 小 结 一 下 Cholesky 分 解 以 及 相应 的 算法 。 

(1) 对 于 对 称 正定 和 矩阵 ,可 做 Cholesky 分 解 。 

(2) 相应 算法 的 存储 量 、 计 算 量 都 为 一 般 的 LU 分 解 的 一 半 。 

(3) 算法 简单 而 且 稳 定 ,不 需要 考虑 选 主 元 问题 。 


3.5.2 带 状 线性 方程 组 的 解法 


定义 3. 3 中 介绍 了 三 对 角 和 矩阵 的 概念 ,将 它 加 以 推广 便 得 到 带 状 矩阵 (band matrix) 。 
定义 3. 13: 对 于 nn 阶 方 阵 A 二 (45)sxns 若 当 |i 一 j| 宝 B 时 ,a 一 0, 且 至 少 有 一 个 k 值 ,使 
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at-_8 天 0 或 aktrs 天 0 成 立 , 则 称 和 矩阵 4 为 带 状 答 - B 
阵 ,2B 十 1 为 其 带宽 ,B 为 半 带 宽 。 ※， 流 x 
三 对 角 和 矩阵 是 带 状 矩阵 的 特例 ,其 半 带 宽 8 一 1。 | 关 Xx Xx x 
x x x 


图 3-12 也 显示 了 一 个 带 状 矩阵 的 例子 ,其 6 一 3。 带 
状 矩 阵 中 的 非 零 元 仅 存 在 于 主 对 角 线 及 其 两 侧 的 | a - 


若干 副 对 角 线 上 ,其 他 位 置 的 元 素 均 为 零 。 易 知 ， 四 、 2 
对 带 状 矩阵 作 LU 分 解 ,其 LU 矩阵 非 零 元 仍然 分 要 本 
布 在 原始 带宽 范围 内 ,利用 这 一 点 可 设计 出 高 效率 、 Sg 


的 方程 求解 算法 。 下面 先 看 三 对 角 和 矩阵 的 a 
LU 分 解 算法 ,假设 不 选 主 元 。 

为 了 节约 存储 空间 ,一 般 用 三 个 向 量 a、bve 表 
示 三 对 角 和 矩阵 4 , 设 


图 3-12 一 个 带 状 矩阵 的 威 尔 金森 图 


bl a 
az bs: Caz 


站 :二 ee (3.40) 
对 它 进行 LU 分 解 的 结果 为 


L= SS 三 Te C3 41 


m, 1 d, 
根据 高 斯 消去 过 程 ,很 容易 证 明和 矩阵 U 的 副 对 角 线 元 素 与 4 的 相同 。 因 此 ,只 需 计算 
待定 系数 mi di ,类似 于 直接 LU 分 解 算法 的 推导 ,得 到 如 下 算法 。 


算法 3. 11: 三 对 角 和 矩阵 的 不 选 主 元 LU 分 解 
输入 : n, 向 量 a,b,c; 输出 : 向 量 m,d,c. 
di :=b1s 
For i=2, 3,°."…,n 

mi :=ai/di1; 

di := mCi1s 
End 


算法 3.11 只 有 O(n) 的 计算 复杂 度 ?, 远 低 于 一 般 LU 分 解 的 复杂 度 O(m)。 容 易 看 
出 ,前 代 和 回 代 过 程 的 计算 复杂 度 也 是 O(n) ,因此 求解 三 对 角 线性 方程 组 的 效率 很 高 。 
不 经 过 LU 分 解 这 一 步 ,也 可 直接 使 用 不 选 主 元 的 高 斯 消去 法 求解 三 对 角 线 性 方程 (类 


@ 关于 OC，) 记 号 的 含义 见 附录 A。 
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似 于 在 一 般 情况 下 使 用 算法 3. 1 和 算法 3. 2 的 组 合 ) 。 下 面 针 对 方程 
4Ax 一 (3. 42) 
其 中 ,三 对 角 和 矩阵 4 如 式 (3. 40) 所 示 ,给 出 求解 算法 。 


算法 3. 12: 三 对 角 线 性 方程 组 的 “追赶 法 "解法 
输入 : n, 向 量 a、b\c、f; 输出 : x. 
Fori=2, 3) *, n 
mi :=ai/bi-1s 
bi :=bi—mici1; 
We en 
End 
En Ee 
or i=n—1,n—2, ,1 
Xi :=(fi—ciriti)/bis 
End 


在 上 述 “ 追 赶 法 "算法 中 ,第 一 个 For 循环 既 包 括 了 LU 分 解 的 过 程 ( 采 用 “ 原 地 工作 ” 存 
储 方式 ) ,又 包括 了 对 右 端 项 的 更 新 。 与 式 (3.41) 对 比 ,这 里 的 数组 成 为 了 式 (3. 41) 中 的 
数组 d, 这 个 依次 计算 出 di ,da ,…,d, 的 过 程 可 形象 地 称 为 * 追 ”的 过 程 。 算 法 3. 12 中 第 二 
个 For 循环 依次 算出 zx, ,zx,-1，,… ,zi, 称 为 * 赶 "的 过 程 。 

将 算法 3. 11 和 算法 3. 12 加 以 推广 , 即 修改 高 斯 消去 过 程 中 循环 的 取 值 范围 ,可 得 到 针 
对 一 般 带 状 矩阵 的 LU 分 解 算法 以 及 追赶 法 求解 算法 ,其 时 间 复 杂 度 为 O(B?n) ,空间 复杂 
度 为 0(Bn)。 因 此 , 当 Bn 时 ,其 求解 效率 远 高 于 一 般 的 情况 。 

上 面 讨 论 的 带 状 矩 阵 分 解 算法 都 没 选 主 元 ,算法 稳定 性 和 可 靠 性 可 能 会 存在 问题 。 若 
采用 部 分 主 元 技术 ,分 解 三 对 角 和 矩阵 和 一 般 带 状 矩阵 的 算法 要 复杂 一 些 , 得 到 的 工 和 
U 和 矩阵 非 零 元 位 置 将 超出 原始 的 带宽 范围 (但 带宽 的 增长 不 会 超过 两 倍 ) ,因此 在 存储 矩阵 
的 数据 结构 上 要 预 留 相应 的 存储 空间 。 即 便 如 此 ,对 于 原始 的 半 带 宽 Bn 的 情况 , 选 主 元 
的 带 状 方程 求解 算法 仍 具 有 很 高 的 效率 。 

由 实际 问题 产生 的 带 状 方程 组 ,其 系数 矩阵 常常 对 称 正定 或 者 对 角 占 优 , 因 此 不 选 主 元 
也 能 达到 数值 稳定 的 要 求 。3. 5. 1 节 已 经 讨论 了 对 称 正 定 的 情况 ,下 面 介 绍 对 角 占 优 和 矩阵 
的 概念 ,以 及 对 它 进行 LU 分 解 的 稳定 性 的 结论 。 

定义 3.14: 对 于 nn 阶 方 阵 和 A 二 (a5),xn, 若 


(GD) az 三 > |as |G=1,2,…,n), 且 至 少 有 一 个 不 等 式 严格 成 立 , 则 和 矩阵 A 按 行 
j=1,j¥i 
对 角 占 优 。 


(2) | oj | 宇 >) | 10G=1,2,…,), 且 至 少 有 一 个 不 等 式 严格 成 立 , 则 矩阵 4 按 
i=1,i#j 
列 对 角 占 优 。 


(3) | 全 > 11G=1,2,…,z), 则 矩阵 4 按 行 严格 对 角 占 优 。 
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(4 a | 二 > 了 | a 10G=1,2,…,), 则 矩阵 4 按 列 严格 对 角 占 优 。 


一 般 将 按 行 或 按 列 对 角 占 优 的 矩阵 都 称 为 对 角 占 优 矩 阵 (diagonally dominant 
matrix) ,也 称 弱 对 角 占 优 矩 阵 ,而 将 按 行 或 按 列 严格 对 角 占 优 矩 阵 都 称 为 严格 对 角 占 优 拢 
阵 (strictly diagonally dominant matrix)。 显 然 , 严 格 对 角 占 优 矩 阵 一 定 也 是 对 角 占 优 
矩阵 。 

下 面 给 出 与 对 角 占 优 和 矩阵 的 LU 分 解 有 关 的 一 个 定理 。 

定理 3.20: 设 n 阶 方 阵 A 为 按 列 严格 对 角 占 优 和 矩阵 , 则 对 A 做 部 分 主 元 LU 分 解 时 不 
需要 交换 行 , 即 对 其 做 不 选 主 元 的 LU 分 解 也 是 稳定 的 。 

上 述 定理 中 的 LU 分 解 指 的 是 Doolittle 分 解 ,而 做 矩阵 的 克 劳 特 (Crout)LU 分 解 时 ， 
为 保证 稳定 性 ,一 般 需 做 行 选 主 元 。 与 定理 3. 20 对 称 的 一 个 结论 是 ,对 按 行 严格 对 角 占 优 
的 矩阵 执行 克 劳 特 LU 分 解 不 需要 选 主 元 。 因 此 ,只 要 和 矩阵 是 严格 对 角 占 优 的 ,不 选 主 元 的 
LU 分 解 都 是 稳定 的 。 

最 后 说 明 一 点 ,对 带 状 矩阵 4 做 LU 分 解 , 结 果 和 矩阵 L 和 U 的 非 零 元 都 分 布 在 A 的 原 
始 带宽 范围 内 ,因此 在 分 解 和 回 代 求解 过 程 中 可 得 出 高 效率 的 算法 。 然 而 ,矩阵 的 逆 一 般 不 
保留 原始 矩阵 的 稀 玖 特点 ,A4“! UT! :往往 都 为 稠密 矩阵 ,对 带 状 矩阵 (非常 小 的 半 带 
宽 8) 求 着 仍然 有 至 少 O0C2 ) 的 计算 复杂 度 9。 这 再 次 说 明了 实际 计算 中 要 避免 计算 矩阵 的 
逆 , 不 能 按照 公式 x=4-!2 的 表面 含义 计算 。 


应 用 实例 : 稳 态 电路 的 求解 


1， 问题 背景 

在 科学 与 工程 计算 中 ,机 械 结构 大 型 输电 网 络 、 管 道 网 络 、 经 济 规划 、 种 群 繁殖 、 集 成 电 
路 等 很 多 问题 最 终 都 要 转换 为 求解 线性 方程 组 。 本 章 和 第 4 章 的 两 个 应 用 实例 分 别 介绍 稳 
态 电 路 和 桥架 结构 分 析 中 的 线性 方程 组 求解 问题 。 

稳 态 电路 是 指 电路 中 电流 .电压 处 于 恒定 状态 
所 对 应 的 电路 ,也 称 为 直流 电路 。 求 解 稳 态 电路 是 
求解 动态 电路 响应 、 进 行 瞬时 分 析 的 基础 。 稳 态 电 
路 中 起 主要 作用 的 是 电阻 元 件 , 以 及 稳 恒 电压 源 、 电 
流 源 等。 在 实际 应 用 的 电网 传输 、 集 成 电路 供电 网 
络 分 析 等 问题 中 , 稳 态 电路 求解 都 是 很 重要 的 一 步 。 

图 3-13 显示 了 一 个 小 的 电阻 网 络 的 电路 图 ,其 中 
包含 8 个 电阻 和 一 个 稳 恒 电压 源 。 求 解 这 个 稳 态 电 
路 ,就 需要 计算 电路 节点 的 电压 ,以 及 每 条 支 路 上 的 电 
流 。 有 多 种 方法 构造 线性 方程 组 描述 稳 态 电路 ,分 为 节点 (电压 ) 分 析 法 和 回路 电流 法 两 类 。 
节点 分 析 法 是 以 节点 电压 作为 方程 组 的 未 知 量 构造 方程 ,求解 之 后 再 根据 欧姆 定律 求 出 支 路 
电流 。 图 3-13 所 示 的 电路 中 有 5 个 节点 。 回 路 电流 法 对 每 个 回路 定义 沿 顺 时 针 方 向 的 回路 


图 3-13 一 个 电阻 网 络 电 路 


@ 带 状 矩阵 快速 求 逆 的 算法 参见 文献 [31]。 
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电流 ,如 图 3-13 中 的 电流 五 人 ,然后 以 它们 为 未 知 量 建立 线性 方程 组 ,求解 之 后 计算 节 
点 电压 和 支 路 电流 。 下 面 主要 介绍 节点 分 析 法 列 方程 的 原理 和 方程 的 求解 。 

2. 节点 分 析 方 程 的 建立 与 求解 

节点 分 析 法 (nodal analysis) 以 电路 中 节点 的 电压 为 变量 ,根据 欧姆 定律 可 得 到 支 路 电 
流 的 表达 式 : 


其 中 ,i 为 从 节点 上 流 到 节点 j 的 支 路 电流 ;rs 为 支 路 电阻 。 定 义 电 阻 的 倒数 为 电导 
(conductance) ,gw 二 1/ry ,， 则 上 述 方程 可 改写 为 
iy = gy (Vk — vj) 
基 尔 霍 夫 电 流 定律 (Kirchhoff’s current law) 指 出 ,每 个 节点 流出 的 电流 之 和 为 零 。 例 
如 ,对 图 3-13 中 的 节点 1， 
tz 十 i13 十 i 二 0。 
节 合 欧姆 定律 的 电 寻 形式 ,上 述 方程 可 写 为 
gl(u 一 wz) 十 ga(u 一 vs) 十 gu 一 wu) 一 0。 
对 其 他 节点 ,也 可 按 上 述 方法 类 似 地 写 出 以 节点 电压 为 变量 的 方程 。 应 注意 的 是 ,为 保证 解 
唯一 , 需 设 置 一 个 “地 ”节点 (其 电压 为 0) ,对 它 不 需要 列 基 尔 霍 夫 电 流 定律 方程 。 对 图 3-13 


所 示 电 路 , 设 节点 5 为 “地 ?节点 , 则 得 到 下 面 的 节点 分 析 方程 
812 十 gls gu 一 Saz 一 813 一 814 vl 
Bg12 B12 十 g23 十 g2s B23 0 vs 
一 813 一 823 8Sla 十 gzs 十 Sa gss 一 834 Us 
一 814 0 一 834 gu ga + gas dL vs 
0 
0 
B35 Us 
0 


其 中 ,us 是 电压 源 的 电压 。 
设 上 述 节 点 分 析 方程 的 矩阵 形式 为 
Gu 一 CC， 

系数 矩阵 G 称 为 电导 给 阵 。 从 上 述 例子 可 以 看 出 G 是 对 称 和 矩阵 ,并 且 对 角 占 优 ,因此 做 LU 
分 解 不 需要 选 主 元 。 事 实 上 ,假设 v 为 任意 设 定 的 节点 电压 向 量 , 可 以 证 明 vTGw 为 电路 的 
总 功率 ,因此 矩阵 G 是 对 称 正 定 的 。 对 于 节点 数目 不 太 多 的 情况 ,求解 节点 分 析 方 程 可 以 
采用 Cholesky 分 解 算法 。 若 节点 数目 很 多 (如 大 于 10 000) ,将 可 以 利用 G 的 稀疏 性 ,采用 
针对 大 型 稀疏 矩阵 的 直接 解法 或 第 4 章 介绍 的 选 代 解 法 进行 求解 。 


3.6 有关 稀 在 线性 方程 组 的 实用 技术 
实际 问题 中 的 线性 方程 组 往往 规模 很 大 ,系数 矩阵 常 为 稀 杖 矩阵 ,本 节 简单 介绍 稀 朴 矩 


阵 的 有 关 知 识 ,以 及 MATLAB 软件 中 的 “ 反 斜 线 " 求 解 器 。 
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3.6.1 稀疏 矩阵 的 基本 概念 


稀 跤 矩阵 (sparse matrix) 一 般 指 存在 大 量 零 元 素 的 矩阵 。 实 际 应 用 中 , 稀 朴 矩阵 也 
包含 采用 特殊 存储 结构 的 含义 , 即 通过 不 存储 矩阵 中 的 零 元 素 节省 矩阵 的 存储 空间 。 
反 过 来 ,采用 常规 的 二 维 数组 存储 的 矩阵 ,即便 其 中 有 一 些 零 元 素 , 从 数值 计算 的 角度 
看 也 不 是 稀 足 和 矩阵 。 与 稀 跑 和 矩阵 相对 的 概念 是 稠密 给 阵 (dense matrix) ,或 称 为 满 矩 阵 
(full matrix) 。 

按照 稀疏 矩阵 中 非 零 元 的 分 布 特点 ,可 将 其 分 为 两 类 : 一 类 是 非 零 元 分 布 比 较 有 规律 
的 结构 化 稀 玻 矩阵 ; 另 一 类 是 非 零 元 分 布 无 明显 规律 的 非 结构 化 稀 玻 矩阵 。3. 5. 2 节 介 绍 
的 带 状 矩 阵 就 是 结构 化 稀 玻 矩阵 。 非 零 元 的 分 布 情况 既 影响 
稀 玻 矩阵 的 存储 ,又 影响 执行 相关 运算 的 计算 效率 ,因此 需要 
对 它 有 一 定 的 了 解 。 前 面 介绍 的 威 尔 金森 图 是 稀 玻 矩阵 非 零 
元 分 布 的 一 种 形象 表示 ,更 一 般 的 非 零 元 分 布 图 采用 点 状 或 阴 
影 区 域 表 示 和 矩阵 非 零 元 ,如 图 3-14 所 示 。 

假设 稀 跑 矩阵 AE R"”* 中 非 零 元 的 数目 为 N,, 则 比值 


Ry 1— Ne 
到 图 3-14 一 个 2000 阶 稀 朴 矩 
常 被 称 为 稀疏 矩阵 的 稀 玖 度 (sparsity)。 显 然 ,m~ 越 接 近 1, 和 矩 阵 的 非 零 元 分 布 图 


阵 越 稀 足 。 

处 理 稀 玖 和 矩阵 的 基本 技巧 是 不 存储 零 元 素 , 同 时 避免 与 零 元素 做 加 、 减 乘除 运算 。 

例 3.15( 稀 朴 矩阵 的 运算 ) : 设 有 两 个 稀疏 矩阵 A,BER”" ,它们 的 非 零 元 数目 分 别 为 
nnz(A) 和 nnz(B), 则 计算 A 十 B 需要 O(nnz(A) 十 nnz(B)) 次 操作 ,因为 只 需 遍 历 所 有 非 零 
元 的 位 置 ,并 做 相应 的 运算 。 而 对 于 两 个 稠密 矩阵 ,计算 A 十 B 则 需要 OGz) 次 操作 ,其 计 
算 量 可 能 远大 于 稀 朴 矩阵 的 情况 。 国 

存储 稀 玻 矩阵 的 数据 结构 多 种 多 样 , 下 面 介 绍 两 种 常见 的 存储 结构 。 

1. 三 元 组 结构 

三 元 组 (triplet) 结 构 也 称 为 coordinate 格式 (COO) , 它 包 括 三 个 一 维 数组 : 一 个 按 任意 
顺序 排列 的 非 零 矩阵 元 素 值 数组 一 个 非 零 元 所 在 行 编号 的 整 型 数组 ,以 及 一 个 非 零 元 所 在 
列 编号 的 整 型 数组 。 三 个 数组 的 长 度 均 为 非 零 元 的 数目 Nu 。 

例 3. 16 (三 元 组 存储 结构 ) : 用 三 元 组 结构 存储 稀 玻 矩阵 

和 和 地 


> 
| 
= 
oem 


试 写 出 实际 存储 的 三 个 一 维 数组 的 值 。 
【 解 】 设 存 储 非 零 元 素 值 . 行 编号 、 列 编号 的 数组 分 别 为 aa、row、col, 假 设 非 零 元 按 逐 
行 顺序 排列 , 则 三 个 数组 的 内 容 见 表 3-1。 
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表 3-1 稀疏 矩阵 的 三 元 组 存储 结构 


aa 1 2 3 4 5 6 7 8 你 10 11 
IOW 1 1 2 2 2 3 3 3 4 4 5 
col 1 3 Y 2 4 1 3 5 2 4 5 


三 元 组 结构 非常 简单 .规整 .易于 理解 ,是 最 基本 的 稀 玖 和 矩阵 表示 方法 ,也 常 作 为 相关 软件 
包 的 输入 数据 格式 。 在 三 元 组 格式 中 , 非 零 元 可 以 按 任意 顺序 存储 ,不 总 是 像 例 3. 16 中 那样 
一 行 一 行 地 依次 排列 。 同 时 ,从 表 3-1 也 可 看 出 ,三 元 组 格式 存在 数据 上 的 宛 余 , 即 很 多 连续 
存储 位 置 上 的 非 零 元 都 有 相同 的 行 编号 。 基 于 这 一 点 加 以 改进 ,可 得 到 压缩 稀疏 行 结构 。 

2. 压缩 稀 朴 行 结构 

压缩 稀 朴 行 (compressed sparse row，CSR) 结 构 规定 非 零 元 按 第 一 行 . 第 二 行 直到 第 4 行 
这 样 的 顺序 存储 ,因此 不 需要 对 每 个 非 零 元 存储 其 行 号 (参考 表 3-1) ,只 需 记录 每 行 第 一 个 非 
零 元 的 位 置 即 可 , 它 形成 一 个 行 指针 数组 。 压 缩 稀 玻 行 结 构 也 包含 三 个 数组 , 非 零 元 素 值 和 列 
编号 数组 与 三 元 组 中 的 一 样 ,而 行 指针 数组 为 整 型 数组 ,其 长 度 为 n 十 1,n 为 矩阵 的 行 数 。 

例 3. 17( 压 缩 稀 疏 行 存储 结构 ) : 用 压缩 稀 玻 行 结 构 存 储 例 3. 16 中 的 稀 玻 矩阵 4, 则 三 
个 数组 的 内 容 见 表 3-2。 

表 3-2 ” 稀 朴 矩阵 的 压缩 稀疏 行 存储 结构 


aa 1 2 3 4 5 6 7 8 人 10 11 
col 1 3 1 2 4 1 3 5 2 4 5 
prow 1 3 6 9 11 12 


数组 元 素 prow[ 门 的 值 说 明 , 和 矩阵 第 ; 行 非 零 元 的 信息 存储 在 数组 aa 和 col 的 第 prow[ 站 
个 及 以 后 的 单元 中 。 因 此 ,prow[i 十 1] 一 prow[ 门 的 值 就 是 矩阵 第 i 行 非 零 元 的 数目 。 为 了 
体现 矩阵 最 后 一 行 非 零 元 的 数目 ,prow 数组 的 长 度 应 为 n 十 1, 且 prow[n 十 1]= 二 Ns 十 1。 男 
外 ,在 压缩 稀疏 行 格 式 中 并 没有 规定 同一 行 非 零 元 的 排列 顺序 。 

压缩 稀疏 行 格式 还 有 很 多 变种 ,如 压缩 稀疏 列 (CSC) 格 式 , 即 按 逐 列 顺序 存储 非 零 元 ， 
其 中 使 用 列 指针 数组 。 还 可 以 利用 高 级 编程 语言 中 “指针 ”的 概念 直接 存储 “指针 ”类 型 的 数 
据 , 而 不 是 整数 编号 。 无 论 是 压缩 稀 琉 行 格式 ,还 是 它 的 变种 ,它们 与 三 元 组 相 比 ,都 使 用 更 
少 的 存储 空间 ,因此 是 处 理 大 规模 稀 政和 矩阵 的 首选 数据 结构 。 

上 述 两 种 存储 结构 都 适合 于 任意 稀 朴 矩阵 ,而 对 于 非 零 元 分 布 特征 明显 的 结构 化 稀 政 
和 矩阵 ,还 可 以 设计 出 更 特殊 的 存储 结构 。 例 如 ,对 于 带 
状 矩阵 或 非 零 元 集中 分 布 在 若干 条 主 、. 副 对 角 线 上 的 称 。 
琉 矩 阵 , 可 以 将 每 条 对 角 线 元 素 按 一 维 数组 存储 ,采用 0 
若干 个 一 维 数组 (可 能 还 需 少量 辅助 信息 指示 对 角 线 的 
位 置 ) 即 可 表示 相应 的 稀 朴 矩阵 (如 算法 3. 11 中 )。 或 17 18: 0 0:20 21 
者 ,对 分 块 特征 明显 的 矩阵 ( 见 图 3-15) ,可 设计 出 分 块 22 23 0 oj24 25 
压缩 稀 玻 行 存储 结构 。 图 3-15 ”一 个 分 块 稀 朴 矩阵 ,每 个 

对 于 大 规模 稀 朴 线性 方程 组 求解 问题 ,采用 稀 朴 矩 块 均 为 2X2 的 矩阵 
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阵 存 储 结构 非常 必要 。 

例 3. 18( 稀 疏 矩 阵 的 存储 量 ) : 假设 一 个 十 万 (105 ) 阶 矩阵 4 包含 一 百 万 (10° ) 个 非 零 元 
素 (平均 每 行 10 个 非 零 元 ) ,矩阵 元 素 采用 IEEE 双 精 度 浮 点 数 存 储 , 试 分 析 使 用 稠密 矩阵 
存储 和 压缩 稀疏 行 存储 分 别 需要 多 少 内 存量 。 

【 解 】 一 个 IEEE 双 精 度 浮 点 数 占 8B( 字 节 ) ,一 个 IEEE 整 型 数据 占 4B。 因 此 ,采用 
稠密 矩阵 格式 ,矩阵 4 的 存储 量 为 8X105X105 一 8X108=-80(GB) ;而 采用 CSR 格式 ,三 个 
数组 的 长 度 分 别 为 105 、10” 和 105 ,而 且 后 两 个 数组 为 整 型 数组 ,因此 总 存储 量 为 8X10" 十 
4X105 十 4X105 一 12.4X105sz*12.4(MB) 。 国 

采用 针对 稀 玖 矩阵 的 数据 结构 能 节省 很 大 的 存储 量 , 也 是 处 理 很 多 大 规模 稀疏 矩阵 的 
唯一 办 法 ,但 基于 它 的 和 矩阵 运算 比 基 于 二 维 数组 结构 的 复杂 一 些 。 例 如 ,已 知行 、 列 位 置 不 
能 直接 访问 到 某 个 矩阵 元 素 。 不 过 ,单独 访问 一 个 矩阵 元 素 的 操作 很 少 遇 到 ,常见 的 矩阵 加 
法 .矩阵 向 量 乘 法 ,高 斯 消去 过 程 等 运算 都 涉及 访问 一 系列 矩阵 元 素 ,因此 基于 稀 玻 和 矩阵 数 
据 结构 仍 可 能 设计 出 高 效率 的 算法 。 

例 3. 19 (高 斯 消去 过 程 的 填 入 ) : 假设 稀 朴 矩阵 4 的 威 尔 金森 图 如 图 3-16 所 示 , 试 分 
析 用 高 斯 消去 过 程 对 A 进行 “ 原 地 工作 ”的 LU 分 解 ,4 的 非 零 元 分 布 会 有 什么 变化 。 

【 解 】 按 高 斯 消去 过 程 的 步骤 ,矩阵 非 零 元 分 布 图 的 变化 情况 如 下 : 

:4 p< XxX x x Xx XxX 
区 一 站 x ® 四 汉 芝 的 四 x 
区 党 须 4 i X09 人 
x xX 
最 终 增加 了 5 个 非 零 元 ,在 图 中 用 圆圈 标示 出 来 。 加 

从 例 3. 19 看 出 ,对 于 稀 朴 矩阵 进行 高 斯 消去 过 程 ,会 新 增加 
一 些 非 零 元 ,它们 被 称 为 填 入 元 (fill-in) ,这 种 现象 称 为 填 人 现象 。 
由 于 稀 朴 矩阵 一 般 只 存 非 零 元 , 填 人 元 必然 造成 稀 玻 矩阵 存储 结 
构 的 更 改 。 而 且 , 填 和 人 使 得 矩阵 的 稀 朴 度 降低 ,进而 增 大 线性 方程 _ 
组 求解 的 计算 量 。 针 对 稀 琉 线性 方程 组 的 直接 解法 ,一 方面 要 改 。 国 3 16 ms 
编 一 般 的 求解 算法 ,使 之 适应 稀 玻 矩阵 的 存储 结构 (避免 与 零 元 素 于 
有 关 的 运算 ); 另 一 方面 要 尽量 减少 填 和 元 ,避免 随 着 消去 过 程 的 进展 ,存储 量 和 计算 量 增长 
太 多 。 最 后 ,为 了 保证 数值 稳定 性 ,一 般 还 要 进行 选 主 元 。 

针对 稀疏 矩阵 数据 结构 的 算法 设计 以 及 稀 朴 线性 方程 组 直接 解法 的 各 种 技术 超出 了 本 
书 的 范围 ,其 中 一 些 内 容 仍 是 当今 的 研究 前 沿 。 对 此 感 兴趣 的 读者 可 参考 文献 [11]。 


3.6.2 MATLAB 中 的 相关 功能 


MATLAB 软件 以 矩阵 计算 的 功能 见长 ,其 中 实现 了 很 多 线性 方程 组 求解 算法 ,也 包括 
针对 稀 玖 矩阵 的 直接 解法 。 在 MATLAB 中 ,矩阵 有 稠密 和 稀 足 两 种 存储 方式 ,稠密 存储 方 
式 使 用 二 维 数组 的 数据 结构 ,而 稀 玻 存储 方式 则 使 用 压缩 稀 朴 列 格式 。 两 种 存储 方式 的 矩 
阵 可 通过 命令 相互 转换 ,它们 以 相同 的 方式 支持 一 般 的 矩阵 操作 与 运算 ,只 是 内 部 算法 会 对 
两 种 情况 区 别 对 待 。 

下 面 列 出 一 些 与 稀 玻 矩阵 有 关 的 常用 命令 。 
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(1) 命令 whos 显示 系统 中 所 有 变量 的 信息 ,可 区 分 出 采用 稀 朴 矩阵 存储 方式 的 矩阵 。 
例如 ， 


>>whos 

Name Size Bytes Class Attributes 
A 2x3 48 double 

SRA 2x3 52 double sparse 


执行 结果 表示 sA 为 使 用 稀 朴 矩阵 存储 方式 的 矩阵 ,而 A 使 用 的 是 稠密 矩阵 存储 方式 。 
(2) 命令 nnz 统计 和 矩阵 中 非 零 元 的 数目 。 例 如 : 


>>nnz (A) 
ans= 
3 


(3) 命令 find 给 出 所 有 非 零 元 的 信息 。 例 如 : 

>>[ij s]=find (A) 

输出 的 三 个 向 量 ij、s 分 别 表 示 非 零 元 的 行 编号 、 列 编号 和 数值 ,反映 了 稀 玻 和 矩阵 的 三 
元 组 表示 方式 。 

(4) 命令 spy 显示 和 矩阵 的 非 零 元 分 布 图 ,显示 的 结果 类 似 于 图 3-14。 

(5) 命令 sparse 将 一 个 矩阵 转换 为 稀 朴 矩阵 表示 。 例 如 


>>s=sparse (A) 
而 命令 full 则 进行 相反 的 操作 : 
>>A=full (s) 
(6) 命令 sparse 还 可 创建 大 规模 的 稀 政 矩阵。 例如 ,执行 命令 
>>S=sparse (i, j, x, m, n) 
它 生成 一 个 mXn 的 稀 玖 和 矩阵 ,而 i、j、x 分 别 为 矩阵 非 零 元 的 行 号 、 列 号 和 数值 组 成 的 


向 量 。 它 体现 了 用 三 元 组 结构 作为 稀 玻 矩阵 输入 格式 。 
(7) 命令 spdiags 专门 生成 非 零 元 分 布 在 主 对 角 线 及 其 平行 线 上 的 稀 朴 和 矩阵。 例如， 


>>s=spdiags([abc], [-101],n,n); 


它 生 成 一 个 nxn 的 带 状 矩阵 ,向 量 a、b、c 包含 三 条 对 角 线 上 的 元 素 值 ,[ 一 10 1] 则 相 
应 地 指示 了 这 三 条 对 角 线 离 主 对 角 线 的 距离 。 

(8) 命令 speye(m,n) 生 成 一 个 mXn 的 单位 矩阵 ,采用 稀 玖 矩阵 存储 方式 。 

(9) 命令 sprand 生成 随机 的 稀 玖 矩 阵 。 如 果 输 入 参数 为 一 个 稀 玖 矩阵 ,如 sprand(S)， 
则 返回 值 为 非 零 元 分 布 与 S 相 同 的 一 个 矩阵 ,矩阵 非 零 元 的 数值 为 0 一 1 的 均匀 分 布 随机 
数 。 如 果 输 入 参数 中 指定 稠密 度 (density) ,如 sprand(m, n, density), 则 生成 一 个 mXn 的 
和 矩阵 ,其 非 零 元 随机 分 布 , 但 非 零 元 数目 大 约 为 densityXmXn。 

(10) 要 计算 一 个 稀 玻 矩阵 4 的 稀 玻 度 (sparsity) ,可 执行 下 面 两 行 命令 : 


>>density=nnz (A) /prod (size (A)); 
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>>sparsity=1-density 

(11) 判断 稀 下 带 状 矩 阵 4 的 半 带 宽 (8) , 即 求 矩 阵 中 非 零 元 素 到 主 对 角 线 的 最 大 距离 ， 
可 执行 下 面 两 行 命令 

>>[i, j]=find (A); 

>>half bandwidth=max (abs (i-j)) 
其 中 ,find 命令 返回 两 个 向 量 , 分 别 记录 非 零 元 的 行 编号 和 列 编 号 。 

在 MATLAB 中 ,将 多 种 线性 方程 组 直接 解法 集成 在 一 起 ,提供 了 一 个 简单 的 反 斜 线 运 
算 符 “\”( 同 命令 mldivide) 实 现 线性 方程 组 的 求解 。 例 如 ,要 解 方 程 Ax 二 b, 执 行 命令 

>>x=A\b; 
即 可 。 其 中 ,b 可 以 是 一 个 矩阵 ,这 时 反 斜 线 运 算 符 会 将 b 的 各 列 作 为 右 端 项 依次 求解 。 为 
了 达到 最 高 的 计算 效率 , 反 斜 线 运算 符 的 内 部 算法 会 自动 判断 矩阵 的 类 型 ,然后 采用 不 同 的 
算法 求解 。 表 3-3 列 出 了 ”* 反 斜 线 ? 求 解 器 针对 各 种 类 型 矩阵 采用 的 不 同 算法 。 

表 3-3 “ 反 和 斜 线 "求解 器 的 内 部 算法 框架 


和 矩阵 A( 按 如 下 优先 顺序 》 求 解 算 法 
稀 玖 矩阵, 且 为 对 角 矩 阵 右 端 项 元 素 除 以 矩阵 对 角 元 
较 稠 密 的 带 状 矩阵 部 分 选 主 元 的 带 状 和 矩阵 LU 分 解 与 回 代 (LAPACK 软件 包 ) 
上 三 角 或 下 三 角 和 矩阵 回 代 法 或 前 代 法 
对 三 角 和 矩阵 作 行 排列 形成 的 矩阵 重 排序 后 用 回 代 或 前 代 法 


通过 Cholesky 分 解 算法 检查 正定 性 ,对 稠密 和 矩阵 和 稀 朴 矩阵 
分 别 用 LAPACK 软件 包 和 CHOLMOD 软件 包 。 若 成 功 , 则 


光 各 得 阵 * 和 天 用 全 不 芝 太 二 过 再 回 代 求解 ; 若 稠 密 且 不 正定 , 则 使 用 选 主 元 的 对 称 和 矩阵 求解 


算法 (LAPACK 软件 包 ) 
稠密 的 上 黑 森 伯 格 (Hessenberg) 和 矩阵 | 执行 高 斯 消去 变 为 上 三 角 和 矩阵 再 回 代 求解 
一 般 的 稀 朴 方 阵 针对 稀 朴 矩阵 的 直接 解法 (UMFPACK 软件 包 ) 
一 般 的 稠密 方 阵 部 分 主 元 LU 分 解 (LAPACK 软件 包 ) 
ye 通过 和 矩阵 QR 分 解 得 到 最 小 二 乘 解 ,分 稠密 矩阵 与 稀 朴 矩阵 
人 你 两 种 情况 


在 表 3-3 中 ,LAPACK 软件 包 是 著名 的 线性 方程 组 求解 软件 包 , 其 中 有 稠密 矩阵 相关 
算法 的 高 效率 实现 。CHOLMOD 和 UMFPACK 是 美国 佛罗里达 大 学 的 T. Davis 教授 ?于 
2004 年 左右 开发 出 的 稀 玖 矩阵 直接 解法 软件 包 。 关 于 上 黑 森 伯 格 矩阵 .QR 分 解 , 以 及 最 小 
二 乘 , 见 第 5 章 和 第 6 章 的 相关 内 容 。 

在 MATLAB 中 还 有 一 个 命令 linsolve, 它 的 功能 与 算 符 “\” 几 乎 一 样 ,但 不 支持 稀 朴 矩 
阵 。 命 令 lu 和 chol 分 别 进行 矩阵 的 LU 分 解 与 Cholesky 分 解 ,它们 都 能 处 理 稠密 矩阵 和 
稀 朴 矩阵 两 种 情况 。 当 处 理 稠密 矩阵 时 ,lu 的 内 部 算法 主要 是 算法 3. 9,chol 的 内 部 算法 是 


上 四” 现 供职 于 美国 德州 农机 大 学 (Taxes A&M University) 。 
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算法 3. 10; 对 于 稀 朴 矩阵 ,它们 分 别 使 用 UMFPACK 和 CHOLMOD 软件 包 的 算法 。 


3.7 有关 数 值 软件 


几乎 所 有 的 数值 计算 软件 和 程序 包 都 具有 求解 线性 方程 组 的 功能 。 最 基本 的 功能 是 求 
解 一 般 的 实 系数 稠密 线性 方程 组 ,有 些 还 支持 稀 玻 线性 方程 组 的 求解 (如 MATLAB)。 在 
这 些 软件 中 ,求解 线性 方程 组 Ax 一 六 有 的 由 一 个 命令 或 程序 模块 完成 ,有 的 分 为 两 个 程序 
模块 ,一 个 进行 矩阵 的 LU 分 解 , 另 一 个 求解 上 /下 三 角 方 程 组 。 无 论 哪 种 情况 ,其 内 部 算法 
都 包括 矩阵 分 解 和 回 代 两 个 过 程 。 对 于 只 用 一 个 命令 实现 方程 求解 的 软件 ,输入 数据 中 的 
右 端 项 六 一 般 都 允许 为 矩阵 (二 维 数组 ) ,以 便 对 含 多 右 端 向 量 的 问题 进行 高 效率 的 求解 。 
表 3-4 列 出 了 一 些 广泛 使 用 的 软件 中 进行 矩阵 LU 分 解 和 回 代 求 解 的 程序 。 


表 3-4 数值 软件 中 求解 线性 方程 组 的 程序 或 命令 


软件 /程序 包 和 矩阵 的 LU 分 解 方程 求解 条 件数 估计 
FMM decomp solve 
HSL ma21 ma21 
LAPACK sgetrf sgetrs sgecon 
LINPACK sgefa sgesl sgeco 
MATLAB lu \ rcond/condest 
NAG fo7adf f07aef f07agf 
NAPACK fact solve con 
NR ludcmp lubksb 
SLATEC sgefa sgesl sgeco 


其 中 ,LAPACK 和 LINPACK 是 求解 线性 方程 组 有 关 问 题 的 标准 软件 包 , 可 从 程序 库 
Netlib 中 获得 。 这 些 程序 基本 上 都 采用 了 部 分 选 主 元 技术 ,其 输出 结果 除了 解 向 量 (通常 存 
于 右 端 项 少 中 ) 和 矩阵 分 解 因子 (通常 存 于 矩阵 A 中 ) ,还 可 能 包括 一 些 指 示 错 误 或 警告 的 
状态 标志 ,以 及 部 分 选 主 元 的 信息 。 有 些 矩 阵 分 解 程序 还 同时 计算 矩阵 的 行列 式 。 在 
LAPACK 和 LINPACK 等 开源 程序 包 中 ,针对 不 同 的 矩阵 元 素 类 型 有 不 同 的 方程 求解 程 
序 , 通 过 程序 名 的 前 级 加 以 区 分 。s 表示 单 精度 浮 点 数 实数 ,d 表示 双 精 度 浮 点 数 实数 ,c 表 
示 单 精度 复数 ,z 表示 双 精 度 复数 (这 些 包 中 的 其 他 程序 也 遵循 这 一 命名 规则 ,本 书 其 他 各 
章 介绍 时 不 再 缆 述 ) 。 

此 外 ,这 些 程序 包 往 往 还 提供 矩阵 条 件数 (或 其 倒数 ) 的 估计 ,相应 的 程序 也 列 于 表 3-4 
中 。 应 注意 的 是 ,条 件数 的 准确 计算 涉及 矩阵 的 逆 ,MATLAB 中 使 用 命令 cond 计算 矩阵 
的 2- 范 数 、1- 范 数 以 及 cc=- 范 数 条 件数 ,但 它 只 适合 于 较 小 规模 的 矩阵 。 

表 3-5 列 出 一 些 针 对 特殊 类 型 线性 方程 组 的 求解 程序 。 对 于 一 般 的 大 规模 稀疏 线性 方 
程 组 ,成 熟 的 程序 包 或 软件 并 不 多 ,除了 3. 6. 2 节 提 到 的 UMFPACK 和 CHOLMOD( 已 被 
MATLAB 使 用 ) ,更 多 的 相关 资料 见 文献 [12] 。 
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表 3-5 求解 特殊 线性 方程 组 的 程序 


程序 包 对 称 正 定 和 矩阵 对 称 不 定 矩 阵 带 状 矩阵 
HSL ma22 ma29 ma35 
LAPACK spotrf/spotrs ssytrf/ssytrs sgbtrf/sgbtrs 
LINPACK spofa/ sposl ssifa/ ssisl sgbfa/sgbsl 
NAG sfact/sslove ifact/isolve bfact/bsolve 
NR choldc/cholsl bandec/bandks 
SLATEC spofa/ sposl ssifa/ssisl sgbfa/sgbsl 


程序 包 LAPACK 和 LINPACK 以 及 更 底层 的 BLAS 子 程序 ,在 科学 计算 领域 是 非常 
重要 和 基本 的 。LINPACK 是 20 世纪 70 年 代用 FORTRAN 语言 编写 的 标准 软件 包 , 已 成 
为 比较 计算 机 性 能 的 一 个 基准 程序 。LAPACK 于 1992 年 开始 开发 并 不 断 更 新 , 是 
LINPACK 的 替代 程序 , 它 考虑 了 包括 并 行 计算 机 在 内 的 现代 计算 机 多 级 存储 结构 ,一般 情 况 
下 比 LINPACK 更 精确 、 更 稳定 、 更 功能 化 ,目前 的 许多 数值 计算 软件 都 以 LAPACK 为 基础 。 

BLAS 是 基本 代数 子 程 序 (basic linear algebra subprograms) 的 英文 缩写 , 它 的 目的 是 
针对 计算 机 体系 结构 设计 性 能 最 优 的 向 量 .矩阵 基本 运算 ,从 而 使 调用 它们 的 高 级 程序 具有 
最 优 的 性 能 和 可 移植 性 。LAPACK 中 的 程序 基于 BLAS 子 程序 ,在 Netlib 中 可 获得 BLAS 
的 普通 版 本 ,许多 计算 机 制造 商 也 提供 针对 自己 系统 进行 优化 的 独特 BLAS 版 本 。 随 着 计 
算 机 体系 结构 的 发 展 ,BLAS 也 在 发 展 , 它 逐 渐 包括 3 个 级 别 . 具 有 不 同 计算 复杂 度 的 各 种 
和 矩阵 相关 运算 。BLAS 子 程序 设计 的 关键 是 考虑 计算 机 层次 化 存储 结构 中 高 速 缓存 .向 量 
寄存 器 和 虚拟 内 存 等 的 不 同 特点 ,尽量 使 高 速 存储 设备 中 的 数据 得 到 充分 的 再 利用 。 表 3-6 
列 出 了 不 同 级 别 的 一 些 重要 BLAS 例 程 。 


表 3-6 基本 代数 子 程序 BLAS 


级 别 计算 复杂 度 例 程 功 能 程序 来 源 

saxpy 数 乘 向 量 再 加 向 量 

1 On) sdot 两 个 向 量 作 内 积 TOMS #539 
snrm2 向 量 的 2- 范 数 
sgemv 矩阵 一 向 量 乘积 

2 On) strsv 三 角 方程 组 的 解法 TOMS #656 
sger 和 矩阵 的 秩 1 修改 
sgemm 和 矩阵 一 矩阵 乘积 

3 OCa) strsm 多 个 三 角 方 程 求解 TOMS #679 
ssyrk 矩阵 的 秩 & 修改 


表 3-6 中 ,“TOMS # xxx” 表 示 发 表 于 期 刊 ACM Transactions on Mathematical 
Software 的 算法 程序 ( 见 1.1.3 节 )。 在 各 个 BLAS 程序 中 ,3 级 BLAS 子 程序 的 数据 复 用 
情况 最 好 , 它 对 OG ) 的 数据 项 完成 了 O(n) 次 浮 点 运算 ,因此 调用 它 能 获得 最 好 的 程序 
性 能 。 
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评 述 


线性 代数 方程 组 的 求解 是 一 个 古老 而 经 典 的 问题 ,甚至 可 以 说 是 数值 计算 中 永恒 的 研 

高 斯 消去 法 的 思想 最 早出 现在 我 国 , 公 元 二 世纪 成 书 的 4 九 章 算术 》 中 就 已 将 它 用 于 求 
解 线性 方程 组 。 在 西方 ,高 斯 (Gauss) 于 1810 年 提出 的 简化 二 次 型 计算 的 公式 是 高 斯 消去 
法 的 锥 形 , 严 格 来 说 , 它 对 应 对 称 正定 矩阵 的 LDL" 分 解 。 和 矩阵 的 LU 分 解 的 雏形 是 由 雅 可 
比 (Jacobi) 提 出 的 双 线 性 型 的 化 简 公 式 , 而 Cholesky 分 解 算法 在 20 世纪 才 被 提出 ,由 
Benoit 于 1924 年 发 表 。20 世纪 上 半 叶 ,研究 高 斯 消去 法 求解 线性 方程 组 时 的 舍 入 误差 是 
一 个 重要 的 课题 。 对 此 做 出 贡献 的 有 冯 。 诺 依 曼 (von Neumann) .图 灵 (Turing) 、 豪 斯 霍 尔 
德 (Householder) 和 威 尔 金森 (Wilkinson) 等 人 。 图 灵 提 出 了 和 矩阵 条 件数 的 概念 , 威 尔 金森 
系统 地 分 析 了 线性 方程 组 直接 解法 中 舍 人 误差 的 影响 。 

关于 选 主 元 高 斯 消去 法 稳定 性 的 争论 也 持续 了 多 年 。 理 论 分 析 表 明 , 部 分 主 元 方法 可 
能 是 不 稳定 的 ,甚至 可 以 举 出 一 些 例证 。 但 大 量 的 实践 表明 了 它 的 有 效 性 ,甚至 可 以 将 它 用 
于 并 行 计 算 。 目 前 ,部 分 主 元 方法 已 被 广泛 用 于 科学 与 工程 计算 中 , 它 的 稳定 性 和 有 效 性 经 
受 住 了 实践 的 检验 。 

很 多 科学 与 工程 问题 的 数学 模型 都 是 常 微分 方程 组 或 偏 微分 方程 ,而 能 够 解析 求解 的 
问题 非常 少 。 在 绝 大 多 数 情况 下 ,这 些微 分 方程 的 数值 求解 又 归结 为 线性 方程 组 的 求解 。 
实际 应 用 的 需求 从 一 维 、 二 维 简化 问题 逐渐 发 展 到 真实 的 三 维 模拟 ,因此 待 求解 的 线性 方程 
组 的 规模 也 越 来 越 大 , 常 包含 几 千 个 甚至 更 多 的 未 知 量 。 值 得 注意 的 是 ,这 些 大 规模 的 线性 
方程 组 一 般 具 有 非常 稀 玖 的 系数 和 矩阵, 如何 求解 它们 是 一 个 挑战 性 问题 。 对 于 稀 玖 的 大 型 
线性 方程 组 ,直接 解法 的 基本 思想 依然 是 高 斯 消去 法 ,但 关键 在 于 控制 系数 矩阵 填 人 元 的 数 
量 , 以 及 利用 稀 玻 性 减 小 计算 量 。 在 这 些 算 法 中 ,往往 涉及 精巧 的 数据 结构 和 算法 技巧 ,还 
要 使 用 图 论 的 知识 和 算法 。 事 实 上 , 现 有 的 稀 玻 线性 方程 组 直接 解法 还 不 能 满足 所 有 应 用 
问题 的 需要 ,但 与 求解 线性 方程 组 的 迭代 法 (将 在 第 4 章 介绍 ) 相 比 , 在 准确 度 和 和 鲁 棒 性 方面 
直接 解法 一 般 还 是 具有 优势 的 。 关 于 稀 玻 线性 方程 组 的 直接 解法 ,可 参考 下 面 两 本 专著 ; 

* 1.S.Duff, et al, Direct Method for Sparse Matrices, Clarendon Press，1986. 

。， T.Davis, Direct Methods for Sparse Linear Systems, SIAM Press, 2006. 

感 兴趣 的 读者 可 访问 T。Davis 的 个 人 网 站 http://faculty. cse. tamu. edu/davis/ ,了 
解 稀 下 和 矩阵 线性 方程 组 直接 解法 较 新 的 研究 成 果 。 

对 于 真正 具有 挑战 性 的 大 规模 稀 朴 线性 方程 组 的 求解 ,需要 结合 直接 解法 和 迭代 解法 
两 者 的 优势 (例如 ,使 用 直接 解法 构造 迭代 法 的 预 条 件 ) ,这 已 逐渐 成 为 一 种 趋势 。 

【本 章 知识 点 〗 向 量 范 数 ;三 种 向 量 范 数 的 计算 ;和 矩阵 的 算 子 范 数 , 三 种 矩阵 范 数 的 计 
算 ; 和 矩阵 的 条 件数 及 其 性 质 ; 病 态 和 矩阵 :用 高 斯 消去 法 解 线性 方程 组 :高 斯 - 约 当 消去 法 :和 矩阵 
求 道 算法 ;消去 矩阵 ;矩阵 的 LU 分 解 ;LU 分 解 的 充分 条 件 与 唯一 性 ;直接 LU 分 解 算法 ; 
LU 分 解 的 计算 复杂 度 ;基于 LU 分 解 的 线性 方程 组 求解 ; 选 主 元 的 作用 与 策略 ;部 分 主 元 
高 斯 消去 法 :部 分 主 元 的 LU 分 解 ; 高 斯 消去 法 的 稳定 性 ;Cholesky 分 解 算法 ;Cholesky 分 
解 的 应 用 ;三 对 角 线 性 方程 组 的 解法 ;对 角 占 优 矩 阵 ; 稀 玻 矩阵 及 其 存储 结构 ;MATLAB 中 
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有 关 线 性 方程 组 求解 的 命令 。 
算法 背后 的 历史 : 威 尔 金森 与 数值 分 析 


麻 姆 斯 。 威 尔 金森 (James Hardy Wilkinson,1919 年 9 月 27 日 一 1986 年 10 月 5 日 , 见 
图 3-17) 是 英国 皇家 学 会 院士 .著名 的 数学 家 、 数 值 分 析 专 家 。 威 
尔 金森 的 成 就 主要 在 数值 分 析 , 尤 其 是 数值 线性 代数 方面 ,他 是 
数值 计算 早期 理论 和 数学 软件 的 开拓 者 和 黄 基 人 ,也 是 建造 图 灵 
(Turing) 设 计 的 ACE 计算 机 的 功臣 。 威 尔 金 森 于 1970 年 获得 
“计算 机 界 的 诺 贝 尔 奖 ”一 一 图 灵 奖 。 

威 尔 金 森 于 1919 年 9 月 27 日 生 于 英国 肯特 郡 的 斯 特 洛 特 
(Strood，Kent), 在 剑桥 最 负 盛 名 的 “三 圣 学 院 ”(Trinity 

图 3-17 威 尔 金 森 College) 接 受 了 严格 的 教育 ,成 绩 出 众 ,16 岁 的 他 获得 三 圣 学 院 

的 最 高 荣誉 Trinity Major Scholarship, 随 后 免试 进入 便桥 

大 学 。1939 年 ,19 岁 的 威 尔 金 森 获 得 一 等 荣誉 奖章 从 剑桥 毕业 。 由 于 第 二 次 世界 大 战 的 原 
因 , 他 随后 进入 剑桥 数学 实验 室 的 军械 研究 所 (Armament Research Department) 工 作 , 研 究 
有 关 弹 道 的 数学 模型 和 数值 计算 。1946 年 ,他 进入 英国 最 著名 的 学 术 机 构 之 一 一 国家 物 
理 实验 室 (NPL) 的 数学 部 ,协助 图 灵 设 计 ACE 计算 机 ,在 图 灵 离开 NPL 后 ,他 负责 该 项 
目 ,于 1950 年 研制 成 功 ACE 计算 机 ,处 于 当时 的 世界 领先 水 平 。 威 尔 金森 长 期 担任 NPL 
的 学 术 长 官 ,在 NPL 营造 了 一 个 浓厚 而 民主 的 学 术 氛 围 ,被 授予 "“ 有 特殊 贡献 的 首席 科学 长 
官 ” 荣 誉 称号 。1980 年 ,他 从 NPL 退休 后 担任 美国 斯 坦 福 大 学 客座 教授 ,1986 年 不 幸 病逝。 

威 尔 金森 的 主要 贡献 

矩阵 的 概念 是 在 1858 年 由 凯 菜 (Cayley) 提 出 的 ,将 高 斯 消去 法 表示 成 矩阵 分 解 是 在 20 
世纪 40 年 代 由 冯 “。 诺 依 曼 (von Neumann)、H. H. Goldstine、 豪 斯 霍 尔 德 (Householder) 等 
人 提出 的 。 计 算 机 的 早期 开创 者 冯 。 诺 依 曼 和 图 灵 等 ,主要 关心 的 是 用 高 斯 消去 法 求解 大 
规模 线性 方程 组 时 舍 入 误差 的 累积 是 否 会 使 结果 误差 很 大 。 在 这 一 点 上 ,开始 的 研究 结果 
是 非常 悲观 的 ,但 不 久 后 计算 实践 惊人 地 表明 了 此 方法 的 稳定 性 和 准确 性 。 

威 尔 金森 提出 了 ”向 后 误差 分 析 法 ”, 系 统 地 研究 了 和 矩 阵 计算 的 误差 问题 ,对 ( 选 主 元 ) 高 
斯 消去 法 的 这 种 良好 特性 做 出 了 解释 和 证 明 。 威 尔 金 森 还 较 早 关注 稀 跤 线性 方程 组 的 求解 
问题 ,采用 一 种 形象 的 方式 表示 敌阵 非 零 元 的 分 布 情况 ,这 种 表示 被 称 为 “ 威 尔 金 森 图 ”。 威 
尔 金森 的 学 术 思 想 和 贡献 主要 体现 在 三 本 专著 中 ,至 今 仍 有 很 大 的 影响 : 

。 J.H.Wilkinson, Rounding Errors in Algebraic Processes, Prentice-Hall 

Press, 1964. 
。 J. H.Wilkinson, The Algebraic Eigenvalue Problem, Clarendon Press, 1965. (中 
译本 为 : 石 钟 闫 , 邓 健 新 , 译 .《 代 数 特 征 值 问 题 ). 北京 : 科学 出 版 社 ,2001) 
*» J.H.Wilkinson, C. Reinsch, Handbook for Automatic Computations, Vol. I1, 


Linear Algebra, Springer-Verlag Press, 1971. 
威 尔 金森 还 是 数学 软件 的 开拓 者 。20 世纪 70 年代, 他 参与 并 推动 成 立 了 一 个 非 营 利 
的 名 为 NAG(Numerical Algorithms Group Ltd. ) 的 公司 ,目的 是 开发 和 推广 数值 分 析 和 统 
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计 分 析 软 件 包 。 当 时 ,NAG 的 大 部 分 线性 方程 求解 和 矩阵 特征 值 计 算 方面 的 程序 都 由 威 
尔 金 森 主 持 编 写 。 他 还 积极 参与 美国 阿尔 贡 (Argonne) 国 家 实验 室 NATS 小 组 的 
EISPACK 软件 项 目 , 并 贡献 力量 ,后 来 EISPACK 软件 成 为 计算 矩阵 特征 值 的 著名 软件 。 

由 于 威 尔 金森 在 发 展 数值 计算 技术 和 方法 上 的 杰出 贡献 ,他 在 1970 年 被 授予 图 灵 奖 。 
他 在 图 灵 奖 颁奖 大 会 上 作 了 题 为 “一 个 数值 分 析 家 的 若干 意见 ”(Some comments from a 
numerical analyst) 的 演讲 ,全文 刊登 于 1971 年 4 月 的 Journalof ACM 杂志 上 。 


练 习 题 


[es | 
A= 9 
人 工本 有 
计算 4 的 cc- 范 数 .1- 范 数 及 2- 范 数 。 
2. 设 xER', 求 证: 1 x。 二 上 xlas<zlxll。。 
3. 设 PER”" 且 非 奇 异 ,又 设 上 x 为 R? 上 一 向 量 范 数 ,定义 
xy Px , 


试 证 明 | x1, 是 R* 上 向 量 的 一 种 范 数 。 


4. 设 矩 阵 
| 
A= 
¥、 也 


其 中 ,AMER ,证 明 当 4 二 土 也 时 ,cond(4)。 有 最 小 值 。 


5. 试 证 明 : 如 果 A 是 正 交 和 矩阵 , 则 cond(A), 二 1。 
6. 设 A,BER"*" ,证明 : 
cond(AB) < cond(4)cond(B) 。 
7. 设 4=(o )wxs 是 对 称 矩 阵 , 且 aa 天 0, 经 过 高 斯 消去 法 一 步 后 ,4 约 化 为 


0 本 
| 0 | 
证 明 4, 是 对 称 和 矩阵 。 
8. 设 A 二 (ai ),x 是 对 称 正 定 矩 阵 , 经 过 高 斯 消去 法 一 步 后 ,4 约 化 为 
dn ME 
| 0 | 
试 证 明 : 
(1) 4 的 对 角 元 素 aas 二 0(i 一 1,2,……,z) 。 


(2) As 是 对 称 正定 矩阵 。 
9. 设 M 为 第 & 类 初等 消去 和 矩阵, 即 
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M: = 


Tnsk 1 

试 证 明 ; 当 i,j>k 时 ,Mi 二 LMi1;,jy 也 是 第 类 的 初等 消去 矩阵 ,其 中 工 ,; 为 交换 第 i 行 和 
第 j 行 的 初等 交换 矩阵 。 

10. 试 推导 矩阵 4 的 Crout 分 解 A 二 LU 的 算法 ,其 中 工 为 下 三 角 和 矩阵 ,U 为 单位 上 三 
角 和 矩阵 。 

11. 考虑 线性 方程 组 Ux = 二 d, 其 中 U 为 2X7 的 上 三 角 矩 阵 。 试 分 析 求解 它 所 需 的 乘除 
法 次 数 。 
12. 分 别 采用 高 斯 消去 法 和 直接 LU 分 解法 对 下 述 和 矩阵 进行 LU 分 解 , 写 出 矩阵 工 


和 U 
Lr 名 生生， 洛 
和 2 
用 2 
A=|0 4 一 1|，8=|2 5 2|, C= D= 
1 4 24 3 
总 二 小 3 
123 4 00 6 一 1 
13. 采用 部 分 主 元 高 斯 消去 法 对 和 矩阵 
人 
下 六 注 
2 
4 一 |2 4 5|,， B= 
4 24 3 
3 5 6 
0 0 = 


进行 LU 分 解 , 写 出 得 到 的 矩阵 LU 和 P。 
14. 设 A、B.C 均 为 nXn 和 矩阵 , 且 B.C 非 奇异 ,b 是 n 维 向 量 ,要 计算 
x=B!(24+D(C!+A)b, 
请 给 出 一 个 合理 、 高 效率 的 算法 流程 。 
15. 分 别 计算 矩阵 


4 2 4 2 
有 是 .人 恬 
2 “10/8 WL 
4 一 |1 3 1 B= 
| 4 89 5 
yl 
2 1 3 9 
的 Cholesky 分 解 。 
16. 用 追赶 法 解 三 对 角 方程 组 Ax 二 b, 其 中 
.| 0 0 0 1 
a | -ed | 0 0 0 
A= 0 一 】 "| 0| ,b=|0 
0 和. 一 下 呈 0 
0 0 0 一 1 2 0 
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17. 下 述 和 矩阵 能 否 进 行 LU 分 解 ( 其 中 ,为 单位 下 三 角 矩 阵 ,U 为 上 三 角 和 矩阵 )? 若 能 
分 解 , 分 解 是 否 唯一 ? 


4 6 7 
18. 设 矩 阵 AE R"”" 按 列 严格 对 角 占 优 , 试 证 明 : 
(1) 对 矩阵 A 做 部 分 主 元 高 斯 消去 时 ,不 需要 交换 行 , 即 假设 经 过 k 一 1 步 消去 后 和 矩阵 
A 变 为 4 只 一 (a 史 )xs(R 一 1,2,…,2 一 1)， 则 
pa | CSRs 
(2) 矩阵 4 非 奇异 。 


上 机 题 


1. 编程 实现 矩阵 的 LU 分 解 (算法 3. 5 或 算法 3. 6) ,以 及 回 代 和 前 代 过 程 ( 算 法 3. 2、 
算法 3.7)。 自 行 构造 几 个 矩阵 和 已 知 解 的 特殊 右 端 向 量 进行 测试 ,验证 程序 的 正确 性 。 

2. 编写 部 分 选 主 元 的 LU 分 解 和 高 斯 消去 法 程序 (算法 3. 9) ,自行 构造 几 个 矩阵 和 已 
知 解 的 特殊 右 端 向 量 进行 测试 ,验证 程序 的 正确 性 。 

3. 用 随机 矩阵 ( 即 随机 数 发 生 器 产生 矩阵 元 素 ) 生 成 几 个 线性 方程 组 , 取 已 知 解 的 特殊 
右 端 向 量 ,比较 不 选 主 元 和 部 分 选 主 元 高 斯 消去 法 程序 的 解 的 准确 度 、. 残 差 和 和 运行 效率 。 

4. 编写 矩阵 的 Cholesky 分 解 程序 (算法 3. 10) , 想 办 法 构造 对 称 正 定 矩 阵 和 对 称 不 定 
矩阵 ,对 该 算法 进行 测试 ,观察 现象 。 

5. 将 一 般 矩 阵 的 LU 分 解 算法 (算法 3. 5) 加 以 修改 ,得 到 一 种 不 同 于 算法 3. 10 的 
Cholesky 分 解 算法 , 写 出 算法 伪 码 并 编程 实现 ,构造 对 称 正定 和 矩阵 验证 该 算法 的 正确 性 。 

6. 编程 生成 Hilbert 矩阵 H, ( 见 例 3. 4) ,以 及 nn 维 向 量 b 二 Hx ,其 中 x 为 所 有 分 量 都 
是 1 的 向 量 。 用 Cholesky 分 解 算法 求解 方程 H,x 二 b., 得 到 近似 解冻, 计算 残 差 r= 二 b 一 Hx 
和 误差 Ax 二 一 x 的 cc- 范 数 。 

(1) 设 x=10, 计算 Mrl。、| Ax|。。 

(2) 在 右 端 项 上 施加 10 一 的 扰动 然后 解 方程 组 ,观察 残 差 和 误差 的 变化 情况 。 

(3) 改变 的 值 为 8 和 12, 求 解 相 应 的 方程 ,观察 | r|l-、| Axll -的 变化 情况 。 通 过 
这 个 实验 说 明了 什么 问题 ? 

7. 根据 算法 3. 11 编写 一 个 求解 三 对 角 线 性 方程 组 的 程序 ,用 几 个 方程 进行 测试 。 如 
果 进 行 部 分 选 主 元 ,程序 应 如 何 修改 ? 构造 例子 ,说 明 部 分 选 主 元 得 到 的 解 更 加 准确 。 

8. 根据 3.6.2 节 ,熟悉 MATLAB 软件 的 有 关 命 令 。 

9. 从 下 述 网 站 下 载 2 一 3 个 较 大 规模 的 稀 跑 和 矩阵 数据 ,自己 编写 MATLAB 读 入 程序 ， 
然后 使 用 MATLAB 求解 线性 方程 组 ,报告 求解 的 计算 时 间 。 

(1) https://sparse. tamu. edu/。 

(2) http://math. nist. gov/MatrixMarket/ 。 
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第 3 章 讨论 了 线性 方程 组 的 直接 解法 ,包括 部 分 主 元 高 斯 消去 法 .直接 LU 分 解法 、 楚 
列 斯 基 分 解法 .追赶 法 等 ,这 些 方法 适合 于 系数 矩阵 为 稠密 矩阵 或 特殊 结构 稀 玻 矩阵 (如 带 
状 和 矩阵 ) 的 情况 。 对 于 较 一 般 的 大 规模 稀疏 矩阵 ,直接 解法 需 考 虑 填 人 现象 ,相应 的 算法 设 
计 非 常 复杂 ,而且 由 于 填 和 人 往往 使 矩阵 随 求 解 过 程 逐渐 变 得 稠密 ,导致 巨大 的 计算 时 间 与 空 
间 开 销 。 另 一 方面 ,采用 直接 解法 能 得 到 比较 准确 的 解 ,但 它 并 不 适合 某 些 对 计算 时 间 要 求 
高 ,而 对 准确 度 要 求 不 高 的 场合 。 

本 章 介 绍 求解 线性 方程 组 的 迭代 解法 , 它 在 某 些 情况 下 能 弥补 直接 解法 的 上 述 不 足 。 
首先 讨论 3 种 基本 的 1 阶 定常 迭代 法 ,然后 简单 介绍 一 种 非 固 定格 式 迭 代 法 一 一 共 纯 梯度 
法 ,最 后 将 各 种 迭代 法 进行 比较 ,主要 关注 它们 的 收敛 性 及 收敛 速度 。 


4.1 和 迭代 解法 的 基本 理论 
本 节 首 先 介绍 求解 线性 方程 组 的 迭代 法 的 基本 概念 ,然后 针对 1 阶 定常 迭代 法 对 收敛 
性 和 收敛 速度 进行 讨论 。 
4.1.1 基本 概念 
与 求解 非 线性 方程 的 迭代 法 一 样 ,这 里 讨论 的 迭代 法 也 是 通过 一 个 近似 解 序列 (每 个 近 
似 解 为 一 个 向 量 ) 


逐渐 允 近 准确 解 x”。 如 果 相 邻 的 近似 解 之 间 满 足 某 种 固定 的 函数 关系 ,这 种 方法 称 为 固定 
格式 迭代 法 (stationary iterative method) 。 类 似 于 不 动 点 迭代 法 ,考虑 到 与 原始 线性 方程 组 
的 等 价 关系 及 每 一 步 迭 代 的 计算 量 , 解 线性 方程 组 的 固定 格式 迭代 法 一 般 具 有 如 下 较 简 单 
的 形式 : 


Xe 一 Br 十 让 (RE 一 0, 1 2)， (4.1) 
其 中 ,B 为 常 矩阵 , 称 为 远 代 短 阵 ,jy 为 常 向 量 。 一 旦 给 定 初 始 解 ,根据 式 (4. 1) 可 逐个 计算 
出 近似 解 ,相应 的 迭代 法 称 为 1 阶 定常 迭代 法 。“1 阶 ” 指 x**? 仅 依赖 于 前 一 个 近似 解 x*， 
“定常 ? 指 和 迭代 计算 公式 中 的 矩阵 与 向 量 在 迭代 过 程 中 保持 不 变 。 下 面 给 出 算法 描述 。 


算法 4.1: 1 阶 定常 迭代 法 

输入 : x ,B,f; 输出 : x. 

x EA 

While 不 满足 收敛 条 件 do 
X :一 Bx 十 三 

End 
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4.1.2 1 阶 定 常 迭代 法 的 收敛 性 


对 于 1 阶 定常 迭代 法 ( 见 式 (4.1)) ,要 使 其 欠 代 收敛 的 解 是 原 方程 4x 一 的 解 ,必须 满 
足 如 下 等 价 关系 : 


4x 一 5 会 《一 Br 十 了 ， (4.2) 
这 里 考虑 的 系数 矩阵 4AER“”", 且 为 非 奇异 和 矩阵。 我 们 关心 的 问题 是 : 由 迭代 法 (4. 1) 得 到 
的 近似 解 序列 {x® } 是 否 收敛 ? 如果 收敛 , 它 的 收敛 速度 如 何 ? 


设 准确 解 为 x” ,近似 解 的 误差 为 


6 网 = R= (kOe 
考虑 到 x* 满足 方程 x* 一 Bx7 十 f, 则 
et = xHD rx* 一 Br 一 Br = Be®, (k=0,1,2,."), (4.3) 
式 (4. 3) 是 误差 的 递 推 关 系 式 。 因 此 ， 
加 (4. 4) 
一 般 初始 误差 e" 去 0, 要 保证 1 阶 定 常 迭 代 法 收敛 ,需要 迭代 和 矩阵 的 短 序 列 {B*) 的 极限 为 


k—o0 


零 矩 阵 , 即 B* O。 

为 了 严格 讨论 这 个 问题 , 先 补 充 有 关 和 矩阵 序列 极限 与 谱 半 径 的 一 些 知识 。 

1. 预备 知识 

定义 4.1: 设 和 矩阵 4 吧 王 (Ca 多 )ER" ,一 0,1,2,… 形 成 一 个 矩阵 序列 ,矩阵 4=(o ) 
ER"™", 若 有 


lima® =ay, (i,j = 1,2,°",n) 


Fe 
则 称 序列 {4A 中) 收敛 于 4, 记 作 lim4” =A。 

从 定义 看 出 ,矩阵 序列 的 极限 是 通过 各 矩阵 元 素 的 极限 定义 的 。 这 与 第 3 章 对 向 量 极 
限 的 定义 (定义 3.8) 完 全 相似 。 

下 面 通过 几 个 定理 说 明 用 矩阵 的 算 子 范 数 判断 矩阵 序列 收敛 性 的 重要 结论 。 首 先 介绍 
矩阵 范 数 的 等 价 性 , 它 与 向 量 的 范 数 等 价 性 (定理 3.7) 类 似 。 

定理 4.1: 存在 常数 cy .cs>0, 使 对 任意 4ER"" 和 任意 一 种 算 子 范 数 | .|| , ,都 有 

alAl. < lAl,<elAl.. 

【证 明 】 由 定理 3.7 知 , 存 在 常数 由 .ds >0, 使 对 VxER", 有 wd xl 过 | x, 过 

da | xz - , 则 


二 hr1 < larl,<alAarl, = Sarle TArl, alarl. 


TS Trl < alxle 
取 xx 为 使 上 2 达到 最 大 值 的 那个 向 量 ,这 个 最 大 人 就 是 41,, 则 
ds |Ax | da 
14l,<Z Tx <Z141.. 


类 似 地 ,可 证 明 | 4 | 之 他 1 41 。, 记 = 外 ,ce 一色 , 则 有 


cl4al- 入 14l 入 c141-。 国 
定理 4.2: 设 A® = 二 (a 外 )ER"™",k=0,1,2,…,A= (aj) ER™”, 则 limA® 一 4 全 
本 
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lim 上 14® 一 A 1,=0, 上。 ,表示 任意 一 种 算 子 范 数 。 

【证 明 】 思路 是 先 证 明 在 o- 范 数 情况 下 成 立 , 再 利用 和 矩阵 范 数 的 等 价 性 。 

先 证 之 方向 的 命题 ; 已 知 lim4 一 4 人 ,要 证 明 lim 1 42 一 4 外 -=0 。 

因为 limA 一 A, 所 以 Ye>0 或 所 >>0， 3Ns ,使 得 对 所 有 & 之 Nv ， 

| ea 多 一 ay | (i,j = 1,2,.,n) 。 
n 
那么 , 取 N 一 maxNy , 则 对 所 有 kN 有 |a 多 一 as | 二 二。 
之 bp | a —as |<e, (i=1,2,°,n) 


之 max >) la =as |<es WA al Ae 

根据 这 个 e-NN 命题 ,说 明 lim 42 一 4 -=0 。 

一 方向 命题 的 证 明 , 即 已 知 lim (BU. | 一 0, 要 证 lim4% 一 人 ,作为 思考 题 留 给 
读者 。 

根据 矩阵 范 数 的 等 价 性 (定理 4. 1), 有 

cl429 一 4 人 -和 14292 一 4 和 cl1492 一 4-，(cycs 之 0) 

若 lim 1 4” 一 人 = 一 0, 则 Ac 时 ,c 4 一 A 上 和 cs 4” 一 人 ‖ = 的 极限 均 为 0, 根据 
序列 极限 的 知识 ,可 推出 lim 上 4 中 一 4,==0。 反 过 来 ， 


二 14w 一 Al < 14w 一 41 -入 二 14w 一 人， 
2 1 


若 lim 上 4 一 全 上 ,一 9, 同样 可 证 明 lim | 4 一 4 ‖ = 一 0, 即 两 者 存在 等 价 关系 。 综 上 所 述 ， 
定理 4. 2 得 证 。 国 

关于 定理 4.2, 可 将 它 与 第 3 章 的 定理 3. 8 做 比较 ,后 者 讨论 的 是 向 量 序列 收敛 的 等 价 
条 件 , 两 者 的 结论 一 致 。 

定理 4.3: 设 4% 一 (的 )ER At 一 0,1,2lima 一 4 全 对 任意 向 量 xER"， 
都 有 limA”x 一 Ax。 

这 个 定理 的 证 明 思 路 是 根据 和 矩阵 序列 、 向 量 序列 收敛 的 定义 ( 即 各 分 量 对 应 的 实数 序列 
的 收敛 性 ) ,然后 选取 合适 的 x 可 简化 证 明 过 程 ,详细 过 程 留 给 感 兴趣 的 读者 思考 。 应 注意 
的 是 ,定理 4. 3 给 出 了 矩阵 序列 收敛 的 另 一 个 等 价 条 件 , 它 对 向 量 序列 来 说 没有 意义 。 

下 面 介 绍 和 矩阵 谱 半 径 po(4) 的 定义 。 

定义 4.2; 设 和 矩阵 AER"” 的 特征 值 为 X;, (i 二 1,2,…,n), 则 称 

o(4) 一 max | Ai | 

为 A 的 谱 半 径 (spectral radius)。 

例 4.1( 和 矩阵 的 谱 半 径 ) : 求 下 述 和 矩阵 的 谱 半 径 : 


1 0 0 
A=|0 1 | 
0 =]1 1 
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【 解 】 先 根据 行列 式 det(QT 一 人) 一 0 列 出 特征 方程 为 
(0 一 1)[Q 一 1)2 十 1] = 0， 

因此 ,和 矩阵 特征 值 为 刀 二 1,hs 二 1 十 i,4s 二 1 一 i, 这 里 i 表示 虚数 单位 。 根 据 谱 半 径 的 定义 ， 
得 po(4)=V2。 国 

下 面 的 定理 给 出 谱 半 径 的 性 质 。 

定理 4.4: 若 矩 阵 4ER“”, 则 

(1) 矩阵 4 的 谱 半 径 不 超过 4 的 任 一 种 算 子 范 数 , 即 p(4) 三 上 A。 

(2) 若 A 为 实 对 称 和 矩阵 , 则 A 1 := 一 o(C4)。 

结论 (1) 的 证 明 很 简单 ,只 需 考虑 矩阵 算 子 范 数 的 几何 意义 与 特征 值 的 含义 。 结 论 (2) 
的 证 明 需 利用 定理 3. 10 ,具体 过 程 留 给 感 兴趣 的 读者 思考 。 

定理 4.5: 设 B=(b;) ER™", 则 limB*=0 SS 0o(B) 一 1。 

此 定理 的 严格 证 明 需 使 用 和 矩阵 的 若 当 标准 型 ,下 面 仅 考虑 矩阵 B 可 对 角 化 的 简化 情 
况 。 设 B 二 XAX !, 其 中 A 为 B 的 特征 值 组 成 的 对 角 和 矩阵 , 则 B* 二 XA*X7 1 ,很 容易 理解 


1B4} 的 极限 为 零 矩 阵 ,等 价 于 A- 全 一-O， 而 它 的 等 价 条 件 是 A 的 每 个 对 角 元 的 模 都 小 于 1， 
即 o(B) 二 1。 完 整 的 证 明 过 程 留 给 感 兴趣 的 读者 补充 ,也 可 以 参考 文献 [8]。 

2. 1 阶 定常 迭代 法 基本 定理 

定理 4.6(1 阶 定常 迭代 法 基本 定理 ) : 设 有 1 阶 定常 迭代 法 

Ei 

其 中 ,1 一 B 为 非 奇异 矩阵 ,对 任意 初始 向 量 x" 迭代 法 得 到 的 解 序 列 {x 中 ) 都 收敛 的 充 要 条 
件 是 谱 半径 p(B) 二 1。 并 且 , 序 列 {x} 的 极限 x* 必定 是 方程 x==Bx 十 了 的 唯一 解 。 

【证 明 】 先 证 明 充 分 性 , 即 根据 p(B) 二 1, 证 明 对 任意 x ,1 阶 定常 选 代 法 得 到 的 近似 
解 序列 {x@w } 收敛 。 

由 于 了 1 一 B 为 非 奇 异 和 矩阵 ,方程 x=Bx 十 f 有 唯一 解 x" (实际 上 ,这 也 可 以 由 p(B) 二 1 
的 条 件 推出 )。 设 


6 四 =x (k=012); 

则 e% 二 Bre'” ,由 定理 4.5 知 ， limB' =0, 结合 定理 4.3 推出 lime” 三 0, 即 向 量 序列 {x*} 
收敛 到 x* 。 

再 证 必要 性 , 即 根据 向 量 序列 {x% } 对 任意 x” 者 收敛, 证明 p(B) 二 1。 

设 limx 三 x” , 易 知 x" 是 方程 x 二 Bx 十 f 的 唯一 解 ( 由 于 1 一 B 非 奇异 ), 因 此 对 任意 
x 中 及 其 对 应 的 误差 e" ,都 有 ee 二 Bre' ”一 0,， (Rk 一品 )。 根 据 定理 4. 3 得 出 limB* 二 0, 青 
根据 定理 4.5 得 p(B) 过 1。 

关于 x* 是 方程 x 二 Bx 十 了 的 唯一 解 的 证 明 已 包含 在 上 述 证 明 中 ,这 里 不 再 重复 。 国 

对 这 个 定理 说 明 以 下 3 点 。 

(1) 定理 的 结论 是 对 任意 的 初 值 x" 迭代 法 都 收敛 , 它 是 一 种 全 局 收敛 的 概念 。 

(2) 定理 的 一 个 前 提 条 件 是 1 一 B 为 非 奇 异 和 矩阵 ,这 很 自然 ,也 很 重要 , 它 反 映 了 迭代 法 
是 通过 对 方程 Ax 二 b 等 价 变 换 得 到 的 ,而 A 非 奇 异 。 而 且 .车 这 个 条 件 不 满足 , 则 无 法 证 明 
必要 性 (考虑 B==I、f==0 的 情况 )。 

(3) 注意 定理 给 出 了 充 要 条 件 , 因 此 可 通过 迭代 矩阵 的 特征 值 ( 谱 半径 ) 判 断 1 阶 定常 
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迭代 法 的 收敛 性 。 
例 4.2( 和 迭代 法 的 收敛 性 ) : 迭代 法 解 线 性 方程 组 的 递 推 公 式 为 
xb = Bx®+f, (k=0,1,2,°) 


共 中 ,B=|， 0 |]: 三 | 2 |, 试 判断 该 和 代 法 的 收 生性。 
9 


【 解 】 首先 ,1 一 B 为 非 奇 异 和 矩阵 ,再 看 矩阵 吾 的 特征 方程 det (XI 一 B) 二 和 一 6 二 0, 因 此 
o(B)=V6 盖 1。 根 据 定 理 4.6 知 ,该 迭代 法 对 任意 的 初始 值 不 一 定 收敛 。 国 
下 面 的 定理 给 出 了 迭代 法 收敛 的 充分 条 件 。 
定理 4.7: 设 待 求解 的 线性 方程 组 为 x 二 Bx 十 f ,对 应 的 1 阶 定常 迭代 法 的 计算 公式 为 
TD = Bf (k= 0 0) 
车 B 的 某 种 算 子 范 数 上 Bl 二 gq 二 1, 则 
(1) 此 1 阶 定常 迭代 法 对 于 任意 的 初始 解 x 都 收敛 。 
(2) x® 一 x* 二 gx 一 x* 上 ,其 中 x 为 原 方程 的 准确 解 。 


(3) | x 一 Xi | ST | CD 一 XID | 


人 
(4) | 天 有 一 Xe* | <i | GD 一 XC0) | 


利用 定理 4. 6 以 及 谱 半 径 与 算 子 范 数 的 关系 ,很 容易 证 明 出 结论 (1) 。 而 对 结论 (2) 一 
(4) ,利用 算 子 范 数 的 性 质 也 不 难 证 明 , 其 中 结论 (4) 与 定理 2. 4 的 结论 非常 类 似 ,可 通过 类 
比 一 同 记忆 。 具 体 的 证 明 过 程 留 给 感 兴趣 的 读者 思考 。 

定理 4.7 的 结论 (3) 说 明 相 邻 解 之 差 的 若干 倍 是 迭代 解 误差 的 上 限 。 相 邻 解 之 差 构成 
了 2.4.3 节 讨 论 过 的 所 谓 的 “误差 判 据 ”, 这 里 的 不 同 之 处 只 是 用 向 量 范 数 代替 了 标量 的 绝 
对 值 。 当 然 ,实际 应 用 中 为 了 处 理 ex” | s0 情况 , 常 使 用 相 邻 迭代 解 之 差 的 相对 量 作 为 
和 迭代 的 判 停 准 则 ,例如 : 

| x a x | 


Tx® 1 a (4.5) 


但 是 , 当 gx~1 时 ,定理 4.7 结论 (3) 中 的 了 和 >1, 上 述 判 据 变 得 不 可 靠 。 与 求解 非 线 性 方程 


一 样 ,还 可 以 使 用 残 差 判 据 , 应 考虑 相对 残 差 (relative residual) 的 大 小 ,得 到 相对 残 差 判 据 ， 


| 25 一 4Ax 多 | 
Mol 


相 比 式 (4.5), 式 (4.6) 的 计算 量 大 一 些 。 在 线性 方程 组 的 迭代 解法 中 使 用 何 种 判 停 准则 ,应 
考虑 算法 效率 、 待 求解 问题 的 特点 等 因素 ,而 且 还 常 指 定 最 大 迭代 次 数 ,防止 算法 不 收敛 造 


4.1.3 收敛 阶 与 收敛 速度 


从 数学 理论 上 看 ,本章 讨论 的 迭代 法 与 求解 非 线 性 方程 、 非 线性 方程 组 的 迭代 法 有 很 多 
相同 之 处 ,1 阶 定常 欠 代 式 (4. 1) 实 际 上 是 不 动 点 迭代 式 (2.8) , 式 (2. 22) 的 特例 。 这 里 讨论 
的 迭代 矩阵 中 就 是 不 动 点 迭代 式 (2. 22) 的 雅 可 比 矩 阵 ,因此 定理 4. 6 和 
定理 2. 10 保持 一 致 。2. 3. 4 节 介绍 了 不 动 点 迭代 法 的 收敛 阶 ,其 概念 可 应 用 于 求解 线性 方程 
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eo (4.6) 
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组 的 迭代 法 ,只 需 将 近似 解 由 标量 变 为 向 量 ,并 且 通 过 向 量 范 数 计算 误差 的 大 小 。 


定义 4.3: 


义 下 ， 


设 迭 代 解 序列 为 {x 


| e 


(CI1) | 


| zx 


(CH1) 


时} ,x ER", 它 收敛 到 向 量 x* 


一 站 


lim 


1 e® lz 


lim 


[x® —x* fs 


常数 c 取 0, 则 称 迭 代 过 程 是 p 阶 收敛 的 ,或 收敛 阶 为 p。 


。 若 在 某 种 向 量 范 数 意 


下 面 讨论 1 阶 定常 迭代 法 的 收敛 阶 ,并 定义 一 种 具有 直观 意义 的 收敛 速度 的 概念 。 假 
设 迭 代 矩 阵 B 的 n 个 特征 值 按 模 从 大 到 小 依次 为 


1>| | 宇 | 2 | 宇 … 宇 | hu |， 


区 里 ,1 之 | | 是 为 了 保证 迭代 法 收敛 。 为 了 简化 讨论 ,假设 矩阵 B 可 对 角 化 , 则 上 述 特 征 值 


对 应 n 个 线性 无 关 的 特征 向 量 wi ,ws ,… 
Bu; = Au; 


将 初始 误差 e" 用 特征 向 量 wi ,ws ，… 


,zw ， 则 


> Bi = Mu 


(i= 1,2,."%， 


,wu 的 线性 组 合 表示 , ew = > au , 根据 式 (4. 3) ,第 
iel 


次 迭代 解 的 误差 为 
一 Bte'o 一 ab = Dantui。 (4.7) 
i=1 
随 着 迭代 步 的 增加 ， 上 述 组 合 中 各 成 分 的 衰减 情况 见 表 4 ii 
表 4-1 e 必 中 各 成 分 随和 迭代 过 程 的 衰减 情况 
成 狐 
误 
第 一 个 成 分 第 二 个 成 分 第 nn 个 成 分 

We a Qo Us Quy 
[mt Ma Maz uz Asanln 


第 一 个 成 分 衰减 得 最 慢 , 每 迭代 一 步 , 它 的 大 小 变化 比例 为 [A | 二 p(B) 。 


根据 式 (4.7) ,容易 推出 jim 各- 一 p(B)， 即 1 阶 定常 送 代 法 为 1 阶 收 华 。 这 里 省 


略 详细 的 推导 过 程 , 以 及 对 矩阵 妃 不 可 对 角 化 情形 的 讨论 ,后 者 的 结论 与 矩阵 下 可 对 角 化 
时 的 一 样 。 根 据 表 4-1, 考 虑 如 何 使 衰减 最 慢 的 误差 成 分 缩小 1/10, 所 需 的 迭代 步 数 满足 


kk ee 
[oe(B) FT < 机 


推出 
ed (4. 8) 
一 lgo(CB) 一 lgoCB)“ “ 
它 说 明 p(B) 越 小 ,一 lgp(B) 越 大 ,k 就 越 小 。 因 此 ,一 lgp(B) 可 作为 刻 面 1 阶 定常 迭代 法 收 
敛 速度 的 一 


定义 4.4: We =Be nln 简称 收敛 速度 。 
从 式 (4. 8) 还 可 以 看 出 ,一 zocBy 历 为 衰 碱 最 慢 的 误差 成 分 缩小 为 证 0 所 需 的 迭代 步 数 ,或 
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者 说 在 极限 情况 下 近似 解 取 得 1 位 十 进 制 精度 所 需 的 迭代 步 数 。 因 此 ,收敛 速度 
二 一 lgp(B) 就 是 极限 情况 下 一 步 迭 代 所 取得 的 十 进 制 精 度 位 数 ,这 是 它 的 直观 含义 。 

最 后 强调 的 是 ,p(B) 是 衡量 1 阶 定常 迭代 法 收敛 性 的 关键 参数 , 既 判 断 是 否 收敛 ,又 决 
定 收敛 速度 。 


4.2 ”经典 迭代 法 


设 待 求解 的 线性 方程 组 为 
4x =b, (4.9) 

其 中 ,4ER" ,为 非 奇 异 矩 阵 。 构 造 求解 方程 (4.9) 的 1 阶 定 常 迭 代 法 时 , 需 首 先 满足 等 价 
条 件 (4.2)。 具 体 的 构造 方法 基本 上 都 可 归纳 为 “分 裂 法 "(splitting method) 。 

分 裂 法 的 基本 思想 是 将 矩阵 4 分 裂 为 两 个 矩阵 之 差 的 形式 ， 

A=M—N, 
其 中 ,和 矩阵 M 非 奇 异 。 那 么 
Ax=b Mx—Nx=b x= MiNx+M'b, 

令 B= 二 MT'N,f= 王 M 'b, 则 得 到 1 阶 定常 迭代 法 公式 (4. 1)。 

选取 不 同 的 矩阵 M, 可 得 到 不 同 的 迭代 法 。 要 获得 计算 效率 较 高 的 迭代 法 ,可 从 收敛 
速度 和 计算 量 两 个 方面 进行 分 析 。 考 查 和 迭代 矩阵 

了 一 MIN 一 MICOM 一 4) T 一 MA4， 

要 得 到 较 高 的 收敛 速度 ,就 要 使 o(B) 尽 量 小 ,或 者 说 希望 B 接近 零 矩 阵 , 在 某 种 意义 上 
MXA, 另 一 方面 ,迭代 的 每 一 步 需 计算 MT! (Nx 十 b), 因 此 希望 以 M 为 系数 矩阵 的 方程 
易于 求解 (一 般 用 高 斯 消去 法 ) , 即 在 某 种 意义 上 M 为 很 简单 的 矩阵 ,这样 才 能 保证 每 步 的 
计算 量 很 小 。 上 述 两 方面 的 要 求 往 往 是 相互 抵触 的 ,因此 选取 合适 的 矩阵 M 实际 上 是 很 困 
难 的 问题 。 

下 面 介 绍 3 种 经 典 的 1 阶 定 常 迭 代 法 公式 ,通过 它们 说 明 算法 的 具体 细节 。 


4.2.1 雅 可 比 迭代 法 


为 了 描述 方便 , 先 以 3 阶 方程 为 例 给 出 雅 可 比 迭代 法 的 计算 公式 。 考 虑 如 下 线性 方 
程 组 : 


al 十 alz7z 十 als7s = hb 


QaaT1 十 azz72 十 dzs7as = be 。 (4. 10) 


QaTl 十 aazZa 十 aasZa 一 bs 
设 系 数 和 矩阵 的 主 对 角 元 均 不 等 于 零 , 即 a; 关 0.i 二 1,2,3。 那 么 ,可 改写 上 述 方程 为 如 下 等 
价 形式 : 


1 b 
il 一 一 一 ( al22 十 alias ) 十 一 
an a 
| bs 

Ta 一 一 一 (azlzl 十 azzs) 十 一 。 (4.11) 
CQ22 Q22 
1 bs 
Xs 一 一 —(asiz1t ass Tz == 
U33 U33 
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根据 方程 组 (4.11) 可 得 到 一 种 迭代 计算 公式 ,即将 “二 ”右边 的 未 知 量 看 成 当前 迭代 步 
的 近似 解 ,而 “二 ”左边 的 量 为 下 一 步 的 迭代 解 ， 


(HI) 一 1 (天 )》 (KR)》 bi 

Zi 三 一 -一 人 awzXy 十 assXx3 ) 十 一 

a QI11 

1 1 大 大 bs 
ZY = (anz® 十 az 多 ) 十 一 。 (4.12) 

C22 U22 


1 E bs 
一 一 (aaiz 名 十 aa 多 ) 十 一 
Q33 U33 


这 样 得 到 的 迭代 法 就 是 雅 可 比 (Jacobi) 迭代 法 。 式 (4. 12) 为 雅 可 比 迭 代 法 的 分 量 迭 代 


(ktHl) 一 
3 二 人 


下 面 将 上 述 3 阶 方 程 的 解法 推广 到 一 般 情 况 , 先 把 系数 矩阵 A 写成 如 下 形式 : 


4 一 也 一 工 一 U， (4. 137 
其 中 ,D、L、U 分 别 为 对 角 和 矩阵 .严格 下 三 角 和 矩阵 和 严格 上 三 角 和 矩阵 。 例 如 ,对 于 3 阶 矩 
阵 , 有 
ai 0 0 0 0 0 0 一 al 一 als 
|。 2 L= |—an 0 0|, U=|0 0 一 oz 
0 0 ass 一 sl 一 az 0 0 0 0 
假设 a; 关 0, 则 D7! 存在 ,与 分 量 表达 式 (4. 12) 对 应 , 雅 可 比 迭 代 法 的 计算 公式 为 
DU 二 Db (4.14) 


显然 , 式 (4. 14) 符 合 1 阶 定 常 迭 代 法 的 一 般 形 式 (4.1), 即 x*+? 二 Bx 十 1 ,对 应 的 
B=D "(LU),f==D 1b。 雅 可 比 授 代 法 也 是 一 种 分 柳 法 , 设 A 二 MM 一 N, 则 它 对 应 的 
M 一 D,N= 工 十 U。 下 面 给 出 雅 可 比 迭 代 法 的 算法 描述 。 


算法 4. 2: 雅 可 比 迭 代 法 

输入 : x,A,b; 输出 : EE 

While 不 满足 判 停 准则 do 
Ws 
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ll nn 
Oi (一 a9 3 Daw ) fa 
ji=1 j= 守 1 


End 
End 


为 了 表达 方便 ,算法 4. 2 中 假设 和 矩阵 A 按 稠密 矩阵 方式 存储 ( 即 二 维 数组 ) ,其 中 ,计算 
公式 与 分 量 迭 代 式 (4.12) 对 应 ,一 维 数组 y 记录 上 一 步 的 迭代 解 向 量 ,而 x 为 当前 解 向 量 。 
相 比 含有 和 矩阵 的 式 (4. 14) ,根据 分 量 计算 公式 推导 算法 要 容易 得 多 。 若 4 为 稀 玖 矩阵 , 计 
算 zi 的 公式 应 修改 ,只 需 按 行 遍历 矩阵 第 i 行 的 非 零 元 。 无 论 哪 种 情况 ,每 步 迭 代 的 计算 
量 都 相当 于 计算 一 次 矩阵 与 向 量 的 乘法 ,并 且 计算 中 不 改变 矩阵 4 。 


4.2.2 高 斯 - 赛 德尔 迭代 法 


下 面 仍 以 方程 (4. 10) 为 例 介 绍 高 斯 - 赛 德尔 (Gauss-Seidel) 和 迭代 法 ,简称 G-S 迭代 法 。 
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假设 矩阵 对 角 元 as 隆 0,i 王 1,2,3, 先 将 原 方程 改写 为 式 (4. 11) 的 形式 , 则 G-S 迭代 法 的 分 
量 迭 代 计 算 公 式 为 


大 
XH 一 一 一 ( a x a 
an a 
1 bs 
多 一 一 一 (aa 和 十 azz 思 ) 十 一 。 (4 15) 
Q22 22 


bs 
HD a zit a 
Q33 


XY 一 一 一 (aatzf 
U33 


式 (4.15) 与 雅 可 比 迭 代 法 的 式 (4. 12) 非 党 类似, 只 是 在 计算 下 一 步 迭 代 解 的 第 二 、 第 三 
个 分 量 时 使 用 了 刚刚 计算 出 的 前 几 个 分 量 , 而 不 是 用 前 一 步 迭 代 解 中 的 值 。 这 种 在 计算 第 
& 十 1 步 近 似 解 的 第 i 个 分 量 时 使 用 它 的 前 i 一 1 个 分 量 的 做 法 正 是 G-S 迭代 法 的 关键 之 处 ， 
它 也 说 明 使 用 G-S 迭代 法 需 按 从 1 到 的 顺序 依次 算出 迭代 解 的 各 个 分 量 。 
推广 到 一 般 的 情况 , 仍 将 矩阵 A 写成 
4 一 了 一 工 一 U， 
则 与 分 量 迭 代 格 式 (4.15) 对 应 ,G-S 迭代 法 的 迭代 计算 公式 为 
HD = Dlx Urx®)+D tb (4.16) 
为 了 得 到 迭代 法 的 一 般 形式 (4.1) ,将 式 (4. 16) 等 号 两 边 同 时 乘 以 也 ,有 
Dx 一 Txt 十 Ux 十 之 (Dx =Ux®++b, 
由 于 了 一 工 i 
x 一 (D—I)iUx® 十 (也 一 工 )-20 。 (4. 17) 
这 就 是 高 斯 - 和 N 式 , 它 对 应 人 有 一 (D 一 L)-0U,， 常数 向 量 
f= 二 (D 一 L)-!1b。G-S 迭代 法 也 可 以 通过 分 裂 法 构造 , 设 A 二 MM 一 N, 则 对 应 的 M= 
D—L,N=U.。 
下 面 给 出 高 斯 - 赛 德尔 迭代 法 的 算法 描述 。 


算法 4.3: 高 斯 - 赛 德尔 迭代 法 

输入 : x,4,D; 输出 : x. 

While 不 满足 判 停 准则 do 
For ;一 1，2，……，7 


二 1 n 
一 人 3 Dasz; 3 sx; ) /os 
ym 了 到 寺 1 


End 
End 


算法 4. 3 仍然 只 考虑 了 4 为 稠密 矩阵 的 简单 情况 ,对 于 稀 玻 矩阵 ,与 算法 4. 2 一 样 , 只 
需 遍 历 4 的 非 零 元。 与 雅 可 比 迭 代 法 相 比 ,G-S 迭代 法 不 再 需要 使 用 额外 变量 保存 上 一 步 
的 迭代 解 ,而 在 计算 量 上 两 种 方法 几乎 一 样 ,每 步 计算 都 相当 于 做 一 次 矩阵 与 向 量 的 乘法 。 
对 照 和 矩阵 迭代 式 (4.17) 还 可 以 看 出 ,按照 分 量 迭 代 公式 得 出 的 算法 4. 3 要 简洁 得 多 。 
例 4.3(Jacobi 迭代 法 与 G-S 迭代 法 ): 用 雅 可 比 迭 代 法 与 高 斯 - 赛 德 尔 迭 代 法 求解 线性 
方程 组 
i 汉 
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14 


10 3 开交 
| 2 一 10 3 “| 二 站 
| 3 lo0dLzs 14 
其 准确 解 为 L1,1,1J" , 设 定 迭 代 初 始 值 为 L0,0,0]" ,要 求解 分 量 的 误差 小 于 10 一。 
【 解 】 对 本 例 , 雅 可 比 迭代 法 的 计算 公式 为 


tt 14 
2 » 一 一 10 ( 3z 多 十 zx ) Em 10 
Ts 1 = 
! 3). 有 (2zf5 十 3zi ) 十 二 10 
tt 四 14 
Zs ? 一 一 10 ( zf 十 3z 多 十 10 


经 过 8 次 迭代 算法 收敛 ,近似 解 为 L1.0001,0.9991,1.0001]", 它 符合 题目 中 的 误差 要 求 。 
采用 高 斯 - 赛 德 尔 迭 代 法 ,计算 公式 为 


1 14 
zh 一 一 站 3z% 十 z9) 十 和 
XHD 一 一 1 (2zgttD 十 3ztb ) 十 = 
一 10 ” 一 10， 

1 14 
ztdD 一 一 (a 站 十 0 


经 过 5 次 迭代 算法 收敛 ,近似 解 为 [0. 9998,0. 9998,1.0001]"。 

对 于 这 个 例子 ,两 种 迭代 法 均 收敛 ,而 且 从 结果 可 以 看 出 ,高 斯 - 赛 德尔 迭代 法 比 雅 可 比 
迭代 法 收敛 快 。 国 

最 后 再 说 明 以 下 两 点 : 

(1) 如 果 改 变 高 斯 - 赛 德尔 迭代 法 的 分 量 计算 顺序 (如 改 为 从 到 1), 则 可 推导 出 另 一 
种 迭代 法 。 特 别 地 ,车 在 每 个 迭代 步 中 先 按 从 1 到 的 顺序 计算 一 遍 解 分 量 ,再 用 同样 的 方 
法 按 从 到 1 的 顺序 计算 一 遍 , 则 得 到 的 迭代 法 称 为 对 称 高 斯 - 赛 德尔 方法 (简称 SGS 方 
法 )。 若 矩阵 A 对 称 , 则 这 种 方法 对 应 的 M 和 矩阵 也 是 对 称 和 矩阵 。 

(2) 与 高 斯 - 赛 德尔 迭代 法 不 同 , 雅 可 比 和 迭代 法 在 计算 下 一 个 近似 解 的 各 个 分 量 时 没有 
先后 顺序 之 分 ,比较 适合 并 行 计 算 。 


4.2.3 ”逐次 超 松弛 和 迭代 法 


逐次 超 松弛 和 迭代 法 (successive over relaxation method,SOR 和 迭代 法 ) 是 高 斯 - 赛 德尔 迭 
代 法 的 推广 。 下面 仍然 以 方程 (4. 10) 为 例 介 绍 其 分 量 计算 公式 。 
首先 看 G-S 迭代 法 的 分 量 计算 公式 。 例 如 , 式 (4. 12) 中 的 第 一 个 式 子 


~ 一 (9 (有 bh 
Xi 一 一 (alzz2 ”十 alsza ) 十 一 ， 
a a 


这 里 使 用 符号 f+? ,以 便 与 后 面 将 给 出 的 SOR 迭代 公式 中 的 符号 相 区 别 。SOR 和 迭代 法 的 
做 法 是 计算 zf**? 与 前 一 步 迭 代 解 zx 总 的 加 权 平 均 , 得 到 下 一 步 迭 代 解 
TED 一 (1 一 o)z 十 ow 运 人 ， (4. 18) 
其 中 ,o 称 为 松弛 因子 (relaxation factor) 。 类 似 地 ,SOR 方法 的 分 量 计算 公式 如 下 : 
‘! 
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¢ QI12 (CD Qa3a CD hn 
i ==) + 2 xz3 十 
a a a 
21 1 U23 _(k bs 
hi = zp to[— rp — 。 (4.19) 
CQ22 Q22 Q22 
) Q31 (k+l Q32 1) bs 
IH 一 (1 一 o)z 多 十 w 人 XD 十 
Qa33 Q33 U33 


从 式 (4. 19) 看 出 ,若松 弛 因子 w= 二 1,SOR 迭代 法 就 是 G-S 迭代 法 ,而 当 w=0 时 ,SOR 迭代 
法 变 得 没有 意义 (和 迭代 解 不 会 变化 ) 。 
下 面 推导 一 般 情况 下 SOR 和 迭代 法 的 公式 , 仍 使 用 4 的 分 解 式 (4. 13) ,与 分 量 和 迭代 
式 (4. 19) 对 照 , 得 到 以 下 公式 : 
xn 一 (1 一 o)xw oD Lx 十 DrIUxzw + Db], 
等 号 两 边 同 时 左 乘 D ,得 到 
Dr 一 (1 一 o)Dr +oLx td 十 oUx 十 op 
字 (D 一 oL)xe 一 [( 一 oD 十 oU]xo 十 opD， 
由 于 了 一 oF 为 对 角 线 元 素 不 为 零 的 下 三 角 和 矩阵 ,必定 非 奇 异 , 则 有 
xD 一 (D 一 ofL)-[(1 一 o)D 十 oU]xwe 十 (了 D 一 oF)- op 。 (4. 20) 
根据 式 (4.20) 可 以 写 出 SOR 和 迭代 法 对 应 的 迭代 和 矩阵 B 和 向 量 f。SOR 迭代 法 也 可 以 通过 
分 裂 法 构造 , 先 改写 式 (4. 20) 为 


xotD 一 (2 -L) [ 公 本 1jp+u]rw 十 (2 -上 ， 
设 4 一 M 一 N, 则 SOR 迭代 法 对 应 的 M 一 二 D 一 LN 一 (S$-1)jp+v 。 
下 面 给 出 SOR 迭代 法 的 算法 描述 。 


算法 4.4: SOR 迭代 法 

输入 : x,A,b,w; 输出 : x. 

While 不 满足 判 停 准则 do 
For ;一 1，2，…， 


= (1 —w)r: a -Dr— Das) for 


j= 计 1 


End 
End 


算法 4.4 与 算法 4. 3 几乎 一 样 , 只 是 增加 了 松弛 因子 w 的 有 关 计 算 , 增 加 的 计算 量 非常 
小 。 另 外 注意 ,SOR 迭代 法 的 前 提 条 件 与 前 两 种 方法 一 样 ,都 是 矩阵 A 的 对 角 元 不 能 为 零 。 
而 且 SOR 方法 也 需要 按 从 1 到 的 顺序 计算 解 的 各 个 分 量 。 如 果 在 每 个 迭代 步 中 先 按 从 
1 到 的 顺序 计算 解 分 量 , 再 按 从 到 1 的 顺序 更 新 一 遍 解 分 量 ,将 得 到 对 称 SOR 方法 ( 简 
称 SSOR 方法 ) 。 对 于 对 称 的 矩阵 A, 它 对 应 的 M 和 矩阵 也 为 对 称 和 矩阵。 
高 斯 - 赛 德尔 迭代 法 是 SOR 和 迭代 法 的 一 个 特例 (对 应 于 w 二 1) ,其 计算 过 程 也 可 以 解释 
为 对 近似 解 的 逐次 修正 , 即 
Et == xR 十 (校正 值 );， (i 二 12%,n) 。 
。124 。 
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下 面 根据 式 (4.15) 说 明 这 个 “(校正 值 );” 的 含义 ,看 第 二 个 分 量 的 计算 公式 , 则 


U21 1 大 Q23 Ck bs 
(校正 值 )。 a 和 
22 


U22 U22 


[6: i U22 we U23 Zz Ws 
对 比 原始 方程 中 的 第 二 个 方程 lalT1 十 aaa + dzs Ts 一 加 , 它 与 当前 解 对 应 的 残 差 向 量 F 有 关 : 
(校正 值 )。 [bz — anztttd — agz® — aszH ]= 。 


Q22 

进一步 研究 发 现 ,通常 (校正 值 ); 一 六 /aa 。 

对 于 SOR 迭代 法 , 它 只 是 在 上 述 公 式 中 的 “校正 值 ? 前 乘 了 一 个 参数 w, 即 

zf 一 Z 多 十 w( 校 正 值 ); = xz 多 十 w( 关 和 一 zx 内) 
一 (1 一 oz toi? 

最 后 这 个 等 式 与 式 (4. 18) 一 致 。 

根据 w 的 不 同 取 值 , 有 时 对 SOR 方法 有 不 同 的 称呼 。 例 如 ,w 过 1 对 应 低 松 弛 和 迭代 法 ， 
而 wo>1 对 应 的 是 超 松 弛 迭代 法 。 

例 4.4(SOR 迭代 法 ): 用 SOR 迭代 法 求解 例 4. 3 中 的 方程 组 ,要 求解 分 量 误差 小 
EE 

【 解 】 SOR 迭代 法 的 计算 公式 为 


3 1 14 
ao 一 1 一 wz 二 a (一 言 z 名 一 击 x 的 二 其] 


,ada (1 w) zx ( i 3 元 多 十 一 5 】 


Zt (1 w) x o( i tt 3 7 | 辣 


测试 几 种 w 取 值 的 情况 ,分 别 如 下 : 
(1) 当 w=1.1 时 ,迭代 6 次 方法 收敛 ,得 到 满足 要 求 的 解 为 L1. 0005,1. 0005， 


0. 9997]7。 

(2) 当 w 二 0.95 时 ,迭代 4 次 方法 收敛 ,得 到 满足 要 求 的 解 为 [1. 0008, 0. 9999， 
0. 9999]T。 

(3) 当 w=0.6 时 ,迭代 9 次 方法 收敛 ,得 到 满足 要 求 的 解 为 L1. 0010, 1. 0001， 
0.9998]T。 国 


由 此 例 可 以 看 出 ,选取 不 同 的 w 值 ,SOR 和 迭代 法 的 收敛 速度 不 同 。 对 有 些 w 值 , SOR 
迭代 法 比 雅 可 比 法 和 高 斯 - 赛 德 尔 法 收敛 得 更 快 ,但 如 果 w 的 值 不 合适 , 则 收敛 速度 可 能 更 
慢 。 因 此 ,如 何 针对 一 类 应 用 问题 求 出 最 佳 的 松弛 因子 是 一 个 重要 问题 。 


4.2.4 3 种 迭代 法 的 收敛 条 件 


根据 定理 4. 6 可 知 ,迭代 法 是 否 收敛 由 迭代 符 阵 的 谱 半径 决定 ,而 谱 半径 又 不 大 于 和 矩阵 

的 任意 范 数 ,因此 , 若 和 迭代 矩阵 下 满足 | 了 31 < 去 1, 则 和 迭代 法 一 定 收敛 。 在 3 种 迭代 法 中 , 雅 

可 比 和 迭代 法 的 迭代 矩阵 容易 求 出 ,因此 可 计算 ‖B| , 若 ‖ 3 1 过 1, 则 可 以 断定 雅 可 比 迭 代 

法 收敛 。 另 外 ,对 于 对 角 线 元 大 于 零 的 实 对 称 和 矩阵 ,下 面 的 定理 给 出 了 雅 可 比 迭 代 法 收敛 的 
。125。 
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充 要 条 件 。 

定理 4.8: 若 4 为 ! 阶 实 对 称 和 矩阵 , 且 对 角 线 元 素 az >0, (Ci 一 1,.2,…:z), 则 求解 线性 
方程 组 hx 一 的 雅 可 比 迭 代 法 收敛 的 充 要 条 件 是 4 和 2D 一 4 都 正定 ,其 中 DD 为 取出 A 的 
对 角 线 元 素 得 到 的 对 角 和 矩阵 。 

【证 明 】 先 证 明 充 分 性 。 由 于 A 的 对 角 元 均 大 于 0, 将 这 些 对 角 元 开 算术 平方 根 ,然后 
取出 形成 对 角 和 矩阵 D3 , 则 D=DiD3 。 考 查 雅 可 比 迭 代 法 的 迭代 矩阵 

B=D'(L+U)=D'(D—A)=Di(Di—DiA) 
=D (I— DiAD?)Di, 

上 式 说 明和 矩阵 1 一 DAD-3 与 矩阵 B 相似 ,有 相同 的 特征 值 。 由 于 4 为 实 对 称 正定 矩阵 ， 
D- 了 AD 习 也 是 实 对 称 正定 矩阵 , 它 的 特征 值 均 为 实数 且 都 大 于 0, 因 此 1 一 D- 了 AD- 的 特 
征 值 都 小 于 1。 基 于 和 矩阵 相似 关系 ,B 的 特征 值 4; 二 1 (i==1,2,…,n)。 

另 一 方面 ， 

B=D1(D—A)=D'[(2D—A)—D]=Di[Di(2D—A)Dt—1]D!, 

通过 类 似 的 分 析 得 出 ,D- 了 (2D 一 A)D- 的 特征 值 均 为 实数 且 都 大 于 0, 而 B 的 特征 值 与 
D-(2D 一 A)D-# 一 I 的 一 样 ,它们 满足 过 一 1 (i 二 1,2,…,n)。 综 合 两 方面 ,14 | 二 1, 谱 
半径 p(B) 一 1,， 雅 可 比 迭 代 法 收敛 。 

必要 性 的 证 明 也 是 利用 上 述 两 个 矩阵 等 式 , 具 体 细节 留 给 读者 思考 ,这 里 不 再 袭 述 。 国 

对 于 高 斯 - 赛 德尔 和 SOR 迭代 法 ,迭代 和 矩阵 的 计算 量 很 大 (与 用 高 斯 消去 法 解 原 方程 差 
不 多 ) ,因此 不 能 直接 考查 迭代 和 矩 阵 判 断 它们 的 收敛 性 。 下 面 给 出 一 个 定理 ,通过 考查 雅 可 
比 迭代 法 迭代 和 矩阵 的 特点 断定 高 斯 - 赛 德 尔 迭 代 法 是 收敛 的 , 它 的 详细 证 明 参 见 文献 [16j]。 

定理 4.9: 设 中 是 雅 可 比 迭 代 法 的 迭代 和 矩阵, 若 1 81 -一 1 或 1B81:<1, 则 高 斯 - 赛 德 
尔 迭 代 法 收敛 。 

实际 应 用 中 , 待 求解 的 线性 方程 组 Ax 一 履 的 系数 矩阵 常常 具有 对 角 占 优 或 对 称 正定 
等 性 质 , 接 下 来 讨论 解 这 些 方程 组 时 迭代 法 的 收敛 性 。 先 给 出 可 约 与 不 可 约 矮 阵 的 

定义 4.5: 设 A=(a;)ER"”"(n 宇 2) ,车 存在 排列 阵 P 了 使 

> 

0 “| 
其 中 ,4 、Azs 均 为 阶 数 不 等 于 0 的 方 阵 , 则 4 为 可 约 答 阵 (reducible matrix) ,否则 为 不 可 约 
短 阵 。 

例 4.5( 不 可 约 和 矩阵 ) : 设 A 为 如 下 的 三 对 角 和 矩阵 : 


bl a 


| 


其 中 ,ai、bivci 均 不 为 零 ,而 
» 26 3 
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则 A 和 B 都 是 不 可 约 矩 阵 。 国 

根据 分 块 矩 阵 的 知识 可 看 出 ,求解 可 约 和 矩阵 为 系数 抢 阵 的 方程 组 可 化 为 依次 求解 两 
个 低 阶 方程 组 的 问题 。 下 面 的 定理 说 明 不 可 约 的 对 角 占 优 和 矩阵 (其 定义 见 3. 5. 2 节 ) 是 
非 奇异 的 。 

定理 4. 10 (对 角 占 优 定理 ) : 若 和 矩阵 A 为 严格 对 角 占 优 和 矩阵 ,或 者 不 可 约 的 弱 对 角 占 优 
和 矩阵 , 则 A 非 奇 异 。 

本 定理 的 证 明 留 给 读者 思考 。 注 意 ,对 角 占 优 包括 按 列 和 按 行 对 角 占 优 两 种 情况 。 另 
外 ,这 个 定理 中 的 条 件 * 不 可 约 ? 很 重要 。 例 如 ,和 矩阵 


2 0 0 
4 一 |0 2 2 
0 2 2 


是 弱 对 角 占 优 矩 阵 , 但 它 是 奇异 的 。 

下 面 的 定理 讨论 矩阵 4 对 角 占 优 时 迭代 法 收敛 的 充分 条 件 。 

定理 4.11: 竺 求解 的 线性 方程 组 为 4Ax 一 D， 

(1) 车 矩阵 A 严格 对 角 占 优 , 或 者 是 不 可 约 的 弱 对 角 占 优 和 矩阵 , 则 雅 可 比 迭代 法 和 高 
斯 - 赛 德尔 迭代 法 均 收 敛 。 

(2) 若 和 矩阵 A 严格 对 角 占 优 , 或 者 是 不 可 约 的 弱 对 角 占 优 和 矩阵 , 且 松 弛 因子 0 二 w 志 1， 
则 相应 的 SOR 迭代 法 收敛 。 

【证 明 】〗 只 证 明 (1) 的 一 部 分 结论 , 即 当 和 矩阵 4 为 严格 对 角 占 优 时 ,高 斯 - 赛 德尔 迭代 
法 收敛 。 其 他 情况 的 证 明 参 见 文献 [16]。 

高 斯 - 赛 德尔 迭代 法 的 迭代 矩阵 为 了 = (D 一 L) 0U ,其 中 也 了 工 U 分 别 为 对 角 和 矩阵 .严格 
下 三 角 和 矩阵 和 严格 上 三 角 和 矩阵 ,并 且 4=D 一 工 一 U。 和 矩阵 四 的 特征 值 满足 特征 方程 

det(MT 一 B) = detQI — (D—L)U) = det((D—L) i)detA(D—L)—U) 一 0。 
由 矩阵 4 的 特点 , 易 知 其 对 角 元 a; 关 0,(i 二 1,2,…,n), 则 det((D 一 L)-!) 关 0, 特 征 值 4 为 
方程 


det(A(D—L)—U)=0 
的 根 。 设 C=X(D 一 L) 一 U., 则 


Ma QI12 ee Qiln 
Mz Maz Q2n 
© 汉 站 :| 
Mam Nan 和 mm 


对 任意 特征 值 4, 都 有 det(C) 王 0。 
下 面 证 明 高 斯 - 赛 德尔 迭代 法 收 化 。 采 用 反 证 法 ,假设 高 斯 - 赛 德 尔 迭 代 法 不 收敛 , 则 
由 定理 4.6 知 ,至 少 存在 一 个 矩阵 B 的 特征 值 4.14| 宇 1. 不 妨 设 4 为 按 行 严格 对 角 占 优 矩 
阵 , 考 查 4 对 应 的 矩阵 C 中 的 元 素 ， 
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于 jl nn 
1 和 az [>121 ( 2 leas) 2 1 lt 2 1asl, G=1,2,%,n), 


j=1"jzi 了 = 计 1 


上 式 表明 C 也 是 按 行 严格 对 角 占 优 矩 阵 ,再 根据 “对 角 占 优 定 理 "( 定 理 4. 10), 必 有 


det(C) 取 0, 从 而 产生 矛盾 , 即 证 明了 高 斯 - 赛 德尔 迭代 法 收敛 。 国 
下 面 的 定理 讨论 矩阵 4 对 称 正 定时 和 迭代 法 收敛 的 充分 条 件 ,对 它 的 证 明 参 见 文献 [8]、 
[16]。 


定理 4. 12: 待 求解 的 线性 方程 组 为 Ax 二 b， 

(1) 若 4 对 称 正定 , 则 高 斯 - 赛 德尔 迭代 法 收敛 。 

(2) 若 4 对 称 正定 , 且 0 二 w 过 2, 则 相应 的 SOR 和 迭代 法 收敛。 

最 后 给 出 一 个 定理 说 明 SOR 迭代 法 收敛 的 必要 条 件 。 

定理 4. 13: 若 求解 线性 方程 组 Ax==b 的 SOR 迭代 法 收敛 , 则 松弛 因子 w 满足 
0<w<=2。 

【证 明 】 首先 根据 式 (4. 20) 写 出 SOR 迭代 法 的 迁 代 矩阵 B=(D 一 woL)71[(1 一 w)D 十 
wDU], 设 其 特征 值 为 4 ,Gi 二 1,2,…,n)， 则 

| det(B) |=| Ah | [p(B) TY, 

由 于 SOR 和 迭代 法 收敛, 则 谱 半 径 p(B) 二 1., 再 结合 上 式 得 到 |det(B)| 一 1 。 

另 一 方面 ,矩阵 D 一 wL 与 (1 一 w)D 十 wU 分 别 为 下 三 角 和 矩阵 和 上 三 角 和 矩阵 ,其 行列 式 为 
对 角 线 元 素 的 乘积 , 则 

det(B) = det((D—wL))det((1— wD+oU) = (1 —w)"。 


因此 得 出 
| (1 一 o" | 天 1 = 0 一 ww< 二 2 。 
原 命题 得 证 。 国 

最 后 补充 说 明 两 点 。 

(1) 高 斯 - 赛 德 尔 迭 代 法 是 SOR 迭代 法 的 一 个 特例 ,上 述 定理 说 明 两 种 迭代 法 收敛 有 
相同 的 充分 条 件 。 对 比 定理 4. 11 和 定理 4. 12 看 出 ,这 两 种 迭代 法 比 雅 可 比 迭代 法 的 适用 
范围 更 大 。 

(2) 除了 考虑 收敛 性 ,在 实际 应 用 中 还 应 关注 迭代 法 的 收敛 速度 , 它 受 具 体 问题 ,具体 
方法 的 影响 非常 大 。 大 多 数 情况 下 ,SOR 迭代 法 比 前 两 种 有 明显 的 优势 ;而 对 于 较 大 规模 
的 问题 ,3 种 迭代 法 往往 都 收敛 得 非常 慢 。 


应 用 实例 : 梅 架 结构 的 应 力 分 析 


1. 问题 背景 与 数学 模型 

析 架 是 由 刚性 杆 通 过 结 点 连接 而 成 的 力学 结构 , 它 通常 出 现在 桥梁 和 其 他 需要 力学 支 
撑 的 结构 中 。 在 析 架 的 某 些 结 点 上 施加 负荷 力 ,各 个 刚性 杆 上 将 分 配 到 一 定 的 应 力 。 图 4-1 
是 一 个 简单 的 平面 静 力 析 架 结构 ,其 中 5 个 刚性 杆 通 过 结 点 A、B、C、D 相连 。 析 架 的 结 点 
A 为 固定 支撑 点 , 结 点 DD 由 滑轮 支撑 ,在 结 点 B 和 C 施加 外 部 负荷 (g1、gs), 需 要 确定 各 个 
杆 上 的 应 力 大 小 。 一 般 地 ,相对 于 负荷 来 说 , 杆 自身 的 重量 可 以 忽略 不 计 。 

要 进行 析 架 的 应 力 分 析 , 可 考虑 在 静 力 平衡 的 条 件 下 ,每 个 结 点 处 的 水 平 合力 和 坚 直 合 
力 均 为 零 。 假 设 各 个 杆 上 的 应 力 对 结 点 产生 拉力 ,由 此 定义 应 力 的 正方 向 ,然后 根据 结 点 处 
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合力 为 零 列 出 线性 方程 组 ,求解 出 应 力 。 若 解 为 负数 
表明 相应 的 杆 对 结 点 产生 推力 。 这 个 线性 方程 组 的 阶 
数 与 析 架 结 点 的 数目 有 关 , 最 多 不 超过 结 点 数 的 两 倍 ， 
而 每 个 方程 仅 含 少 数 几 个 变量 (当前 结 点 连接 的 杆 上 
的 变量 )。 因 此 ,整个 线性 方程 组 的 系数 和 矩阵 是 非常 稀 
足 的 ,而 且 系 数 和 矩阵 一 般 是 非 结 构 化 的 稀 路 答 阵 , 适 合 
采用 迭代 法 求解 。 

2. 计算 实例 与 结果 

图 4-2 显示 了 一 个 二 维 析 架 结构 ,其 中 儿 杆 与 水 平 
方向 的 夹 角 均 为 45" ,3 个 负载 均 为 向 下 的 力 ,其 值 在 图 中 标 出 ,单位 为 吨 。 假 定 结 点 1 在 水 
平和 竖 直 方向 均 严 格 国定 ,而 结 点 8 在 垂直 方向 加 以 国定 , 求 各 个 杆 上 的 应 力 大 小 。 


图 4-2 ”二 维 梅 架 结构 


按 图 4-2 对 杆 进 行 编号 ,相应 地 设 第 i 个 杆 上 的 应 力 为 +;, 这 样 一 共有 13 个 未 知 量 。 
由 于 只 需求 解 杆 的 应 力 ,不 需要 对 结 点 1 列 静 力 平衡 方程 ,也 不 需要 对 结 点 8 的 竖 直 方向 列 
方程 ,因此 总 共 可 列 13 个 方程 ,正好 可 得 到 唯一 解 。 定 义 参 数 a 二 V2/2, 对 结 点 2 一 8 依次 
列 方程 ,得 到 如 下 的 线性 方程 组 : 


[010 0 0-10 0 0 00 0 0 二 | fo 
001 0 0 00 0 0 00 0 ol 10 
w= Co 0 0 .0.0 0 ls 0 
a01 0 «a 00 0 0 00 0 ol 0 
000 1 0 00-1 0 00 0 ol 0 
oO00 0 WH 01 0 .0 O00 t Ol 0 
000 0 10 0-a—-l10 0 olz|=|0|, 
(| 15 
000 0 0 00 0 0 10 =1| 0 
000 0 0 00 0 0 01 0 olx, 20 
oo00 0 0 TT00 1 a v0 —e 0 

Oo 0 8 00 0 0 元 

lo 00 0 0 ‘00 0 0 0 a | J 

求解 出 解 向 量 x 后 ,将 各 个 杆 的 应 力 标 于 图 中 ,如 图 4-3 所 示 。 
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图 4-3 各 个 杆 的 应 力 


4.3 共生 梯度 法 简介 


4.2 节 介 绍 的 经 典 迭 代 法 都 是 通过 对 和 矩阵 的 简单 分 裂 得 到 1 阶 定常 迭代 公式 ,它们 对 
一 般 的 矩阵 无 法 保证 收敛 性 ,即使 收敛 ,其 收敛 速度 也 可 能 很 慢 。 从 20 世纪 70 年 代 开始 迅 
速 发 展 起 来 的 Krylov( 克 雷 洛 夫 ) 子 空间 迭代 法 一 定 程度 上 弥补 了 经 典 迭 代 法 的 不 足 , 在 当 
前 的 科学 和 工程 计算 中 被 广泛 应 用 。 本 节 介 绍 由 变 分 原理 导出 的 共 轿 梯度 法 , 它 是 一 种 重 
要 的 Krylov 子 空间 迭代 法 。 


4.3.1 最 速 下 降 法 


首先 介绍 最 速 下 降 法 , 它 是 共 恩 梯度 法 的 基础 。 考 虑 线性 方程 组 
Ar =b (4. 21) 
的 求解 问题 ,其 中 A 为 n 阶 实 对 称 正 定 和 矩阵。 求解 线性 方程 组 (4. 21) 的 一 种 思路 是 将 它 转 
换 为 在 n 维 向 量 空间 求 函数 最 小 值 点 的 问题 ,这 个 函数 是 下 面 的 元 二 次 函数 ， 
g(x) = DxTAx 一 brx 。 (4. 22) 


根据 多 元 微 积分 知识 ,这 个 最 小 值 点 x 必定 满足 条 件 2g 5 一 0,Gi 一 1,2,…,2)， 不 难 证 明 


这 样 得 到 的 个 方程 就 是 线性 方程 组 
Ax—b=0.。 

这 说 明 方程 组 (4. 21) 的 解 是 元 二 次 函数 g(x) 
的 极 小 点 。 还 可 以 证 明 当 A 对 称 正定 时 ,这 个 极 
小 点 就 是 p(x) 唯一 的 最 小 值 点 。 这 种 将 对 称 正 
定 线 性 方程 组 的 求解 问题 转换 为 求 多 元 二 次 函 
数 最 小 值 问 题 的 方法 称 为 变 分 原理 。 

图 4-4 显示 了 多 元 二 次 函数 g(x) 的 一 个 例 


2 2 
子 , 它 对 应 于 4=| : 6.5-| -| 车况 ， 到 


般 的 求 多 元 函数 最 小 值 问题 属于 无 约束 优化 问 
题 , 往 往 通 过 多 维 向 量 空间 的 逐次 搜索 求解 ,下 
面 介绍 其 基本 思路 。 先 任意 给 定 一 个 点 (向 量 ) 。 图 和 4 一 个 多 元 一 次 函数 g(x) 的 图 形 


i 
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xo， 假 设 沿 方向 向 量 po 搜索 下 一 个 点 2 
Xl 二 Xo 十 aopo， 
使 得 x 为 这 个 方向 上 的 最 小 值 点 , 即 对 YacER ， 
G(Xo 十 aopo) 委 PCxo 十 apo)， 
然后 从 x 出发, 选 定 一 个 搜索 方向 pi , 沿 直线 x 二 x 十 ap1 再 跨 一 步 , 即 找到 a ,使 得 
9p(xz 十 op) 和 px 十 apli)， VaER， 
也 就 是 说 ,在 当前 搜索 方向 上 使 PCx) 达 到 极 小 。 按 相同 的 方法 一 步 步 做 下 去 ,可 得 到 一 系 
列 多 维 空间 的 点 xo ,xi,xs，…, 它 们 逐渐 双 近 g(x) 在 全 空间 上 的 最 小 值 点 ,也 就 是 方程 
组 (4.21) 的 解 。 这 个 搜索 过 程 是 一 个 迭代 计算 过 程 ,其 关键 问题 是 确定 搜索 方向 p 和 搜索 
步 长 ai,(k=0,1,2,…)。 
先 分 析 如 何 确定 搜索 步 长。 假设 从 x 出 发 ,已 选 定 搜 索 方向 为 pi , 令 

fa) 一 PC 十 apt)， (4.23) 

则 搜索 步 长 w 是 使 一 元 函数 (4.23) 取 最 小 值 的 a 值 。 将 式 (4.22) 代 入 式 (4. 23) ,得 


yead = 地 (x Fp TAC tap — Btre dapiy 


1 
= PIAp: 一 arp + px:), 


其 中 ,ri 二 b 一 Axi ,为 方程 组 (4. 21) 的 残 差 。 函 数 ja) 为 简单 的 一 元 二 次 函数 , 且 和 矩阵 4 对 
称 正定 保证 了 piAp: 宝 0。 易 知 ,/(a) 有 唯一 的 最 小 值 , 对 应 的 a 值 为 
pe 
piAp: ~ 
不 同 的 方法 采用 不 同 的 策略 确定 搜索 方向 ps 。 最 速 下 降 法 (steepest descent method) 
的 策略 是 : 考虑 到 多 元 函数 p(x) 增 加 最 快 的 方向 是 其 梯度 方向 ， 
Vp) = [aa ae 下， 


az are” “gx 


(4. 24) 


& 一 


因此 , 负 梯 度 方向 就 是 g(x) 减 小 最 快 、 最 明显 的 方向 ,每 次 都 把 它 选 为 搜索 方向 。 按 此 
思路 ， 


pe Vo(xx) (Ax—b) | =b—Ax:=r, (4. 25) 
上 述 推导 中 利用 了 矩阵 A 对 称 正定 的 性 质 , 详 细 过 程 留 给 感 兴趣 的 读者 思考 。 
例 4.6( 最 速 下 降 法 原理 ): 用 最 速 下 降 法 求解 方程 Ax 二 b, 其 中 ， 


L 9 | | 

A= ，b= a 

”A 从 = 多 

首先 将 它 转换 为 求 函 数 p(x) 一方 xTAx 一 bx 一 了 村 十 271zx4 十 3 对 一 271 十 8zs 的 最 小 值 问 


题 。 假 设 初 值 x 二 [一 2, 一 2J", 则 在 二 维 向 量 空间 中 经 过 如 图 4-2 所 示 的 搜索 步 通 近 p(x) 
的 最 小 值 点 x 二 [2, 一 2]" , 它 是 方程 Ax 二 b 的 准确 解 。 


@ 为 了 记号 的 简洁 ,在 本 节 中 使 用 下 标 标记 向 量 序列 中 的 序号 。 例 如 ,用 x 表示 第 个 迭代 解 ,而 不 用 x。 
* aL 
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在 图 4-5 中 ,g(x) 的 负 梯 度 方向 (ri) 就 是 等 
值 线 的 法 向 。 并 且 还 可 看 出 ,在 每 步 搜索 的 终 
点 处 ,搜索 方向 垂直 于 等 值 线 的 法 向 , 即 ps | 
ri+1, 这 其 实 可 根据 式 (4. 24) 加 以 证 明 , 留 给 感 
兴趣 的 读者 思考 。 由 于 最 速 下 降 法 的 搜索 方向 
沿 着 当前 点 处 的 等 值 线 法 向 ,因此 其 搜索 过 程 
中 相 邻 两 步 的 搜索 方向 总 是 相互 垂直 的 。 

将 式 (4.25) 代 入 式 (4. 24) 可 得 到 最 速 下 降 
法 中 a 的 计算 公式 : 

pe (4.26) 


riArs 图 4-5 二 维 向 量 空间 中 函数 g(x) 的 等 值 线 
下 面 给 出 解 线性 方程 的 最 速 下 降 法 的 算法 a 


描述 。 


算法 4.5: 解 对 称 正定 方程 组 的 最 速 下 降 法 
输入 : x,A,b; 输出 : x. 
ri:=b—Ax; 
While 不 满足 判 停 准 则 do 
a :=rir/riAr; 
x :=xtor; 
rar Ur Av Eve el ni) 
End 


在 算法 4.5 中 ,主要 计算 是 做 矩阵 4 与 向 量 r 的 乘法 , 若 4 为 称 杖 矩阵 , 则 只 需 遍 历 拓 
阵 非 零 元 ,并 且 算法 不 改变 原始 抢 阵 4。 另 外 , 迁 代 过 程 中 和 的 值 不 断 变化 ,因此 前 后 
两 个 远 代 解 之 间 不 满足 一 种 固定 的 递 扒 公 式 ,这 一 点 不 同 于 经 典 的 1 阶 定常 闪 代 法 。 另 外 ， 
由 于 多 元 二 次 函数 p(x) 是 扣 函 数 ,因此 一 定 存 在 唯一 的 最 小 什 点 。 也 就 是 说 , 当 甜 阵 A 对 
称 正定 时 ,算法 4.5 一 定 收敛。 

例 4.7( 最 速 下 降 法 ): 根据 算法 4.5 写 出 最 速 下 降 法 ,求解 例 4.6 中 线性 方程 组 的 过 程 。 

【 解 】 与 例 4.6 一 致 , 取 初 始 解 一 | 一 ;| ,然后 计算 


se le el, ol 


: _[3 2][12]_ [52 _ riro _ 144+64 _ 
迁 代 第 一 步 ,为 了 计算 m , 先 计算 sn=| | |=[72 |m 一 一 人 和 - 


一 2 i» 0.08 
0.1733, 因 此 ,一 二 an 一 | |+o.1sx| [=| | 
一 2 8 一 0.6133 


类 似 地 ,计算 后 续 的 迭代 解 ,依次 得 到 


| | | | | por | 
X2 一 » Xs 三 CE , 
一 2.0000 一 1.6549 一 2.0000 
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| | | nid | Rd 
Xs = 四 Xs 一 人 Xr 三 四 
一 1.9141 一 2.0000 一 1.9786 
| ped | | 四 | | 
wo0000l ™ | Loa ™ |-2,0000| 国 
4.3.2 共 斩 梯 度 法 


在 最 速 下 降 法 中 , 负 梯 度 方向 虽 从 局 部 看 是 最 佳 的 搜索 方向 ,而 且 每 步 都 在 该 方向 上 使 
p(x) 达 到 最 小 ,但 并 没有 在 全 局 上 使 g(x) 最 小 化 。 从 图 4-5 就 可 以 看 出 ,最 速 下 降 法 总 是 
搜索 重复 的 方向 ,收敛 特别 慢 。 将 最 速 下 降 法 加 以 改进 , 便 得 到 共 轿 梯度 法 (conjugate 
gradient method,CG 法 )。 下 面 介 绍 它 的 主要 思想 与 计算 过 程 。 

给 定 初始 向 量 x。 ,第 一 步 仍 选 负 梯度 方向 为 搜索 方向 , 即 po 二 ro ,于 是 有 

wg 克 。， 
poApo 

对 以 后 各 步 ,例如 ,第 k 十 1 步 (k 三 1) ,搜索 方向 不 仅 考虑 ri ,而 是 在 过 点 xs 由 向 量 天 

, 去” 和 ps-1 所 张 成 的 平面 {x 二 x 十 ri 十 Wr-1,&,7ER 民 }) 内 
她 一- 找 函数 g(x) 的 最 小 值 ( 见 图 4-6)。 记 
1 AH = + br pe) 


Xl =Xoaopo, r=b—Axi.。 


ee A == 雯 Gs 十 和 4 十 画 )TAG 十 各 4 十 甸 1) 一 


i bx 二 1 十 Ip)， 
图 4-6 在 向 量 rm 和 ps-1 所 张 成 的 二 维 计算 偏 导数 可 得 
平面 上 搜索 最 小 值 的 示意 图 


Xk Pe 


Ei 
9 
=érlAr toriApei—rir:, 


9 
FsrlApr +mpiiApe: 


其 中 ,第 二 个 式 子 用 到 了 图 4-5 展示 的 rfp 二 0 的 结论 。 
为 了 求 /(&,7) 的 极 小 值 以 及 它 对 应 的 &、w 取 值 ,可 根据 下 式 列 方程 
Eh em 


a€ a 
设 要 求 的 极 小 值 点 为 Xx, 则 
T= x Er + Ipe, 
上 且 E 和 了 满足 
EriAri + vriApe = rire (4.27) 
EriApr1 + ijpiiApe = 0， (4. 28) 


根据 上 述 方程 易 证 明 , 若 r 取 0, 则 必 有 ES 隆 0, 因此 可 取 新 的 搜索 方向 为 ( 见 图 4-6) 


Dp: Ly xX4) 沪 十 i is 
四 


它 是 在 上 述 二 维 平面 内 的 最 佳 搜索 方向 ,并 且 搜 索 步 长 为 <。 这 里 不 直接 推导 的 计算 公 
式 , 而 是 关心 如 何 计 算 搜 索 方 向 pi ,因为 一 旦 搜索 方向 确定 了 , 步 长 就 可 根据 4. 3. 1 节 的 公 
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式 (4. 24) 得 出 。 
令 PB-1 王 7/ , 则 由 方程 (4. 28) 得 


T 
reApe 
i (4. 29) 
Pes piiApe 
而 
pr = rit+Bepe, (4. 30) 


且 容 易 证 明 pfAp4-1 二 0, 即 搜索 方向 pi 与 pi- 是 4 正 交 的 @( 也 称 为 “ 共 斩 正 交 ”) 。 

式 (4.29) 和 式 (4. 30) 就 是 计算 pi 的 递 推 公式 ,然后 使 用 前 面 的 式 (4. 24) 确 定 搜索 步 长 
o (就 是 前 面 的 E) ,就 可 计算 下 一 个 迭代 解 w+ 三 如 十 wpk。 总 结 上 面 的 讨论 ,得 如 下 的 算 
法 描述 。 


算法 4.6: 解 对 称 正定 方程 组 的 共 思 梯 度 法 
输入 : Xo ,AD; 输出 : Xe 
ro :一 0 一 Axo; 


Po :=ros 

k :=0; 

While 不 满足 判 停 准 则 do 
ax :=ripr/piAps; {计算 搜索 步 长 } 
Hs {更 新 解 } 
Titrl =r QAD:; {计算 新 残 差 向 量 } 
B :=—riiApr/piAps; 
Peti :=ren thBprs {计算 新 的 搜索 方向 } 
k :二 k 十 1]; 

End 


算法 4.6 采用 了 不 同 于 算法 4. 5 的 另 一 种 描述 方式 ,实际 上 应 去 掉 变 量 的 下 标 (如 
算法 4.5), 只 保留 当前 办 代步 的 搜索 步 长 ,近似 解 . 残 差 . 搜 索 方向 。 从 这 个 算法 看 出 ,每 个 
选 代步 的 主要 计算 仍然 是 做 一 次 抢 阵 与 向 量 的 乘法 。 
例 4.8 ( 共 胃 梯度 法 ); 根据 算法 4.6 写 出 共 轩 e 梯 度 法 求解 例 4.6 中 线性 方程 组 的 过 程 。 
【 解 】 与 例 4.6 一 至 , 取 初 始 解 一 | 一。 |. 然后 计算 出 ,一 ps 一 | 3 | .算法 执行 过 各 


表 4-2 算法 执行 过 程 


k AP a Xtl Tht1 RB DPrt1 


全 | [52572]F 0. 1733 | [0. 08 ,一 0. 6133]7 | [2. 9867 ,一 4.48]7 |0. 1394|[4. 6592 ,一 3.365] 


己 


[7. 2476, 一 10.8715]7 | 0.4121 | [2 ,一 2]7 


四 ” 当 矩 阵 4 对 称 正定 时 ,可 定义 内 积 (x,y)4 二 xTAy。 相 应 地 ,车 (x,y)4 二 0, 则 称 向 量 x 和 y 是 A 正 交 的 。 
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此 例 说 明 , 经 过 两 步 迭 代 , 共 因 梯 度 法 就 得 到 了 准确 解 。 事 实 上 ,由 于 x, 是 在 pi 和 ni 
所 张 成 的 二 维 平面 上 的 p(x) 的 最 小 值 点 ,而 本 题 的 向 量 空间 就 是 二 维 的 ,因此 x* 就 是 全 局 
的 最 小 值 ,当然 是 方程 Ax==b 的 准确 解 了 。 

共 思 梯度 法 每 迭代 一 步 产 生 3 个 向 量 x ri .pi :分 别称 为 近似 解 向 量 、 残 差 向 量 和 搜索 方 
向 向 量 。 更 深入 的 理论 分 析 表 明 ( 详 细 证 明 见 文献 [14]、L33]) ,这 些 向 量具 有 如 下 性 质 。 

(1) xi+r1Exo 十 span{ro ,Aro，…,Arro},， 其 中 span{ro ,Aro，… ,At*ro) 一 般 称 为 Krylov 
子 空 间 ,， 记 为 X(A,ro)。 

(2) x+i 不 但 在 向 量 六 和 pi-1 所 张 成 的 平面 上 使 PC(x) 最 小 ,而 且 在 超 平面 ze 十 X(4， 
ro) 上 使 g(x) 最 小 。 

(3) 搜索 方向 向 量 相 互 4 正 交 ( 共 思 ), 即 prAp; 二 0,i 关 j 。 

(4) 残 差 向 量 相互 正 交 , 即 rir; 二 0,i 关 j。 

(5) 搜索 方向 向 量 与 残 差 向 量 相互 正 交 , 即 pjri 二 0,0 二 j 过 k 。 

(6) 在 超 平面 xo 十 XC(A,ro) 上 的 所 有 点 中 ,近似 解 x 的 范 数 误差 最 小 : 


| 一 xz 一 min lx—x’|,, 
xExo+OKAvro) 


这 里 , x 表示 方程 hx= 的 准确 解 ,而 儿 。， | 是 由 和 矩阵 4 定义 的 向 量 范 数 ， 
| xlls= Vx Ax. 

性 质 (1)、(2) 说 明 , 共 思 梯 度 法 的 迭代 解 可 看 成 是 在 Krylov 子 空间 寻找 的 某 种 最 优 向 
量 。 应 指出 , 还 有 其 他 通过 搜索 Krylov 子 空间 得 到 线性 方程 组 近似 解 的 方法 ,它们 都 称 为 
Krylov 子 空 间 选 代 法 (参见 文献 [14]) 。 第 (2) 条 性 质 还 说 明 , 若 不 考虑 数值 误差 ,xz, 即 准确 
解 (因为 此 时 的 (4A,r) 为 全 空间 R")。 第 (3) 条 性 质 反 映 了 共 斩 梯 度 法 名 字 的 由 来 。 基 于 
这 些 性 质 , 还 可 以 改写 式 (4. 24) 和 式 (4. 29) ,得 到 


Es i _ rhirm 
piAp:” BT rr 
这 样 , 利 用 式 (4. 31) 并 考虑 一 些 技巧 可 得 出 更 实用 的 共 恩 梯度 法 算法 描述 。 


(4.31) 


Qk 


算法 4.7: 解 对 称 正定 方程 组 的 实用 共 办 e 梯 度 法 
输入 : xAsbs 输出 : xX, 

r:=b—Ax; 

Db ':=rs 


While 不 满足 判 停 准 则 do 


a :=r'r/p'Ap; {计算 搜索 步 长 } 

x :一 X 十 ap; { 更 新 解 } 

r :=r; {保存 上 一 个 残 差 向 量 } 
r:=r—aAp; {更 新 残 差 向 量 } 
B:=rir/rr; 

了 :=r+Bp; {计算 新 的 搜索 方向 } 


End 


从 算法 4.7 看 出 , 共 思 梯度 法 的 每 个 迭代 步 只 需 做 一 次 矩阵 向 量 乘法 (计算 Ap) 以 及 两 
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次 向 量 内 积 (计算 p"Ap 与 rr) .这 比 算法 4.6 还 少 一 次 。 而 从 存储 量 上 看 , 共 恩 梯度 法 也 
是 非常 节省 的 。 另 外 ,由 于 迭代 中 已 计算 出 当前 迭代 解 的 残 差 +, 因 此 不 需要 额外 的 计算 量 
就 可 以 使 用 残 差 判 据 式 (4. 6) 作 为 迁 代 的 判 停 准则 。 

对 于 nn 阶 对 称 正 定 线性 方程 组 ,理论 上 共 恩 梯度 法 经 过 次 迭代 必定 收敛 到 准确 解 , 它 
克服 了 最 速 下 降 法 和 其 他 迭代 法 收敛 速度 可 能 很 慢 的 缺点 ,是 一 种 "具有 和 迭代 法 形式 的 直接 
解法 ”。 实 际 上 , 随 着 和 迭代 步 数 增多 , 共 斩 梯 度 法 中 的 舍 人 误差 很 严重 ,而 且 相 比 高 斯 消去 
法 ,作为 直接 解法 的 共 恩 梯度 法 没有 任何 优势 。 

理论 分 析 表 明 , 共 红 梯度 法 的 近似 解 误差 满足 如 下 不 等 式 (注意 ,4 为 对 称 正 定 矩 阵 ) ， 

| eu Ia Vx—1 

Tela ~ V+ 
其 中 ,k= 二 cond(A), 一 Xwsx(A)/Xhnin(A)。 若 矩阵 A 比较 良 态 (cs*1), 则 收敛 会 很 迅速 ; 若 4 非 
常 病态 (k 福 1) , 则 收敛 可 能 非常 慢 , 甚 至 不 收敛 。 所 以 ,对 较 大 规模 的 实际 问题 ,一般 需要 预 
条 件 技术 (preconditioning) 与 共 恩 梯度 法 结合 起 来 使 用 。 

预 条 件 技术 的 一 种 基本 做 法 是 用 矩阵 M-:! 去 乘 4 ,然后 求解 与 原 问题 等 价 的 方程 

MAx = MD， (4. 33) 
其 中 ,M 是 使 方程 组 Mz 二 y 易于 求解 的 和 矩阵, 如果 它 的 逆 近 似 于 A 的 逆 , 则 MT!A 就 会 比 
较 良 态 , 从 而 提高 共 轼 梯度 法 的 收敛 速度 。 从 技术 上 讲 . 为 了 保持 系数 矩阵 的 对 称 性 和 正定 
性 ( 共 红 梯度 法 应 用 的 前 提 ) ,应 该 做 分 解 M==LL' ,然后 对 L 'AL "应 用 共 力 梯度 法 。 具 体 
设计 算法 时 还 有 一 些 技巧 ,可 使 算法 中 只 用 到 M, 而 不 直接 出 现 L。 省 略 这 些 细节 的 讨论 ， 
下 面 直接 给 出 预 条 件 共 思 e 梯 度 法 的 算法 描述 。 


(4. 32) 


算法 4.8: 解 对 称 正 定 方程 组 的 预 条 件 共 箔 梯度 法 
输入 : x,A,b,M; 输出 : x. 


FDA 
p:=M lr; 
z:=p; {z=M- 1r} 
While 不 满足 判 停 准 则 do 
a :一 rTZ/PTAD; {计算 搜索 步 长 } 
x :=x+tap; {更 新 解 } 
6 :一 rTzj {保存 上 一 个 残 差 向 量 的 有 关 计 算 结 果 } 
ri:=r—aAp; { 更 新 残 差 向 量 } 
xz :一 MT ri; 
1 人 
p :一 xz 十 8p; { 计 算 新 的 搜索 方向 } 
End 


算法 4. 8 的 每 步 迭 代 中 , 除 一 次 矩阵 与 向 量 乘积 Ap 外 ,再 额外 做 一 次 预 处 理 Mr 即 可 。 
在 构造 预 条 件 和 矩阵 M 时 ,要 权衡 收敛 速度 的 增长 与 预 处 理 给 每 步 迭 代 带 来 的 额外 开销 。 
目前 已 出 现 了 各 种 预 条 件 技术 ,相关 的 研究 也 成 为 当今 一 个 非常 活跃 的 研究 课题 。 关 于 这 方 
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面 的 讨论 超出 了 本 书 的 范围 , 感 兴趣 的 读者 可 参阅 文献 [6]、[13]、[14] 和 [32]。 
4.4 各 种 方法 的 比较 
本 节 首 先 介绍 一 个 模型 问题 ,针对 它 详细 比较 本 章 介 绍 的 各 种 迭代 法 ,然后 将 求解 线性 
方程 组 的 直接 法 和 和 迭代 法 进行 对 比 。 
4.4.1 和 迭 代 法 之 间 的 比较 


为 了 更 好 地 将 前 面 介 绍 的 各 种 迭代 法 进行 对 比 ,下 面 先 看 一 个 模型 问题 。 
例 4.9( 正 方形 区 域 的 拉 普 拉 斯 方程 ): 考虑 定义 在 单位 正方 形 上 的 拉 普 拉 斯 方程 
(Laplace equation) 


gu | gu 


=0,， 0<r<1l,0<y<1l, (4.34) 


9x "ay 
待 求 函数 u(x,y) 在 边界 上 的 值 如 图 4-7 所 示 , 要 求解 正方 形 内 部 点 上 的 u(x,y) 函 数值 。 
通常 把 要 求解 区 域 划 分 成 很 多 的 网 格 ,求解 各 个 网 格 节点 的 值 。 网 格 节点 上 的 2 阶 导 数 可 
以 根据 泰勒 (Taylor) 展 开 公式 做 差 商 计算 近似 (更 深入 的 用 差 商 近似 导数 的 理论 和 方法 见 
后 面 的 7.7 节 )。 


) 3 
1 ®- 1 ® 
» 。。， 
0 0 0 0 
| 
O 0 x 人 x 


(a) 单位 正方 形 区 域 及 边界 条 件 。“(b) 求解 拉 普 拉 斯 方程 取 的 离散 网 格 点 
图 4-7 模型 问题 网 络 划 分 与 边界 条 件 


例如 ,对 本 题 的 正方 形 区 域 ,划分 的 内 部 节点 为 (xis,yj) 三 (Gih,jh),(i,j 三 1,2,"*…*,k),h 
为 步 长 。 具 体 地 ,这 里 取 k=2,h==1/(k 十 1)= 二 1/3。 然 后 在 每 个 内 部 节点 用 2 阶 中 心 差 商 
近似 方程 中 的 2 阶 导 数 , 得 到 方程 


Wij = Zui + Weiss 竺 A We 
到 h? 


其 中 ,wi 是 函数 值 u(x;,y;) 的 近似 ,并 且 如 果 ij 等 于 0 或 十 1, 则 wi,j 为 已 知 的 边界 值 。 
采用 这 种 方法 ,导出 4 阶 线性 方程 组 


=0, i,j = 1,2,.…,k, 


du Uo,1 Uz,1 Uo Ul,2 0 
uz,1 Ul,l Us,1 U2,0 U2,2 0 
din,z Uo,2 Uz,2 Ul,l Ul,3 0 
uz,2 Ul,2 Us,2 Uz,1 xz,3 一 0 


代入 边界 值 , 得 到 和 矩阵 形式 的 方程 
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4 一 1 一 1 0]| za Uo,1 十 ui,o 
| 4 0 一 1 las+ee| 
= WW | i | 
0 一 1 一 1 4J zz U3,2 十 Uz,3 
这 是 一 个 对 称 正定 的 线性 方程 组 ,可 以 通过 直接 解法 (Cholesky 分 解 算法 ) 得 到 精确 解 
za 0. 125 
uz,1 0. 125 
| 
U2,2 0. 375 


以 这 个 模型 问题 为 例 (单位 正方 形 区域 上 拉 普 拉 斯 方程 生成 的 4X4 方 程 组 ) ,下面 比较 几 
种 迭代 法 的 收敛 效果 。 以 x” 三 0 作为 初始 值 , 雅 可 比方 法 得 到 的 迭代 解 序列 见 表 4-3。 


表 4-3 用 雅 可 比方 法 求解 模型 问题 得 到 的 迭代 解 序列 


迭代 步 Zl Z2 Zs x 
0 0.000 0. 000 0. 000 0. 000 
1 0.000 0. 000 0.250 0.250 
2 0.062 0.062 0.312 0.312 
3 0.094 0. 094 0. 344 0. 344 
4 0. 109 0. 109 0. 359 0. 359 
5 0. 117 0. 117 0. 367 0. 367 
6 0. 121 0. 121 0. 371 0. 371 
0. 123 0. 123 0. 373 0. 373 
8 0. 124 0. 124 0. 374 0. 374 
9 0. 125 0. 125 0. 375 0. 375 


表 4-3 显示 , 雅 可 比方 法 经 过 9 步 迭 代 收 敛 到 准确 解 (假设 保留 3 位 有 效 数字 )。3 
高 斯 - 赛 德尔 方法 .SOR 方法 和 共 斩 梯 度 法 的 结果 见 表 4-4 一 表 4-60] 。 


表 4-4 用 高 斯 - 赛 德尔 方法 求解 模型 问题 得 到 的 迭代 解 序列 


迭代 步 Zl Zz Za ZT 
0 0.000 0. 000 0. 000 0. 000 
1 0.000 0.000 0.250 O32 
2 0.062 0.094 0.344 0.359 
3 0.109 0.117 0.367 0O.371 
4 0.121 0.123 0.373 0.374 
5 0.124 0.125 0.375 0.375 
6 0. 125 0. 125 0. 375 0.375 


38. 
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表 4-5 用 SOR 方 法 (w 二 1.072) 求 解 模 型 问题 得 到 的 迭代 解 序列 


迭代 步 1 2 3 4 
0 0. 000 0. 000 0. 000 0. 000 
1 0. 000 0. 000 0. 268 0. 335 
2 0.072 0. 108 0. 356 0. 365 
3 0. 119 0. 121 0. 371 0. 373 
4 0. 123 0. 124 0. 374 0.375 


5 0.125 0.125 0.375 0.375 


表 4-6 用 共 斩 梯度 法 求解 模型 问题 得 到 的 和 迭代 解 序列 


迭代 步 Zl da Zs 4 
0 0. 000 0. 000 0. 000 0. 000 
0. 000 0. 000 0. 333 0. 333 
2 0.125 0. 125 0.375 0.375 


可 以 看 出 ,高 斯 - 赛 德尔 方法 比 雅 可 比方 法 收敛 得 快 一 些 。 对 这 个 问题 ,SOR 方法 的 最 
佳 松弛 因子 为 w=1. 072. 由 于 它 非常 接近 1, 所 以 SOR 方法 的 收敛 速度 比 高 斯 - 赛 德尔 方法 
稍 快 。 最 后 ,采用 共 斩 梯 度 法 只 需 两 步 迭 代 就 可 以 收敛 。 国 

如 果 对 前 面 例子 中 单位 正方 形 上 的 拉 普 拉 斯 方程 改变 差分 的 步 长 , 则 可 得 到 一 系列 不 
同 规模 的 线性 方程 组 。 设 步 长 二 1/(k 十 1) ,在 kXk 个 内 部 网 格 节点 上 设置 变量 ,可 得 到 
线性 方程 组 的 阶 数 为 刀 。 对 于 这 种 模型 问题 ,理论 上 可 以 分 析出 各 种 经 典 迭 代 法 的 迭代 和 矩 
阵 谱 半径 p(B) ,而 SOR 方法 的 最 佳 松 弛 因子 也 可 求 出 w= 二 2/[1 十 sin(xh)]。 表 4-7 列 出 了 
理论 分 析 得 到 的 和 迭代 和 矩阵 谱 半 径 以 及 渐进 收敛 速度 R 的 近似 值 (R= 一 lgp(B)) 。 


表 4-7 求解 含 KkX 大 个 内 部 网 格 点 的 模型 问题 的 迭代 矩阵 谱 半径 和 收敛 速 度 


方 法 po(B) Re 
雅 可 比 cos(xh) (x /ln 10)h? /2 
高 斯 - 赛 德尔 cos2 (xh) Cx /ln 10)h? 
最 佳 SOR [1—sinCxh)]/[1+sin(xh)] (2x/ln 10)h 


* 计 算 尺 时 考虑 jz 一 0, 进 行 了 近似 ,ln 为 自然 对 数 。 


从 表 4-7 看 出 ,在 离散 网 格 点 很 密 的 情况 下 , 雅 可 比方 法 和 高 斯 - 赛 德 尔 方法 的 收敛 速 
度 与 步 长 的 平方 成 正比 ,或 等 价 地 ,每 增加 一 位 精度 所 需 的 迭代 次 数 与 设置 网 格 点 的 个 数 成 
正比 (回顾 定义 4. 4) ,而 高 斯 - 赛 德尔 方法 的 渐进 收敛 速度 是 雅 可 比方 法 的 两 倍 。 另 一 方 
面 , 选 最 佳 松弛 因子 的 SOR 方法 比 其 他 两 种 方法 的 收敛 速度 快 很 多 ,由 于 它 的 近似 收敛 速 
度 与 步 长 成 正比 ,对 网 格 很 密 的 问题 每 增加 一 位 精度 ,所 需 的 迭代 次 数 与 正方 形 一 条 边 上 的 
节点 数 成 正比 。 

为 了 让 3 种 方法 的 比较 更 直观 ,对 取 不 同 的 值 ,将 它们 的 结果 列 于 表 4-8 中 。 可 以 看 
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到 , 当 & 值 比较 大 时 , 谱 半 径 非常 接近 1,3 种 方法 收敛 得 都 非常 慢 。 从 收敛 速度 尽 看 , 当 
& 一 10 时 (对 应 阶 数 为 100 的 线性 方程 组 ) ,每 增加 一 位 十 进 制 精度 , 雅 可 比方 法 的 迭代 次 数 
要 超过 50 次 ,高 斯 - 赛 德尔 方法 要 超过 25 次 ,而 最 佳 的 SOR 方法 大 约 要 4 次 。 当 & 王 100 
时 (对 应 阶 数 为 10 000 的 线性 方程 组 ) ,每 增加 一 位 十 进 制 精度 , 雅 可 比方 法 需要 5000 次 和 挝 
代 , 高 斯 - 赛 德尔 方法 大 约 需要 2500 次 ,最 佳 的 SOR 方法 大 约 需要 37 次 。 所 以 ,对 大 规模 
的 方程 组 , 雅 可 比方 法 和 高 斯 - 赛 德尔 方法 一 般 是 不 适用 的 ,而 最 佳 SOR 方法 也 往往 收敛 
很 慢 。 
表 4-8 不 同 大 值 情 况 下 求解 模型 问题 的 迭代 矩阵 谱 半径 和 收 剑 速 度 


雅 可 比 高 斯 - 赛 德尔 最 佳 SOR 
p(B) R p(B) R p(B) R 
10 0. 9595 0.018 0. 9206 0.036 0. 5604 0. 252 
50 0. 9981 0. 0008 0. 9962 0.0016 0. 8840 0. 0535 
100 0. 9995 0. 0002 0. 9990 0. 0004 0. 9397 0. 0270 
500 0. 999 98 0.0000085 | 0.99996 0.000017 | 0.987 54 0. 005 447 
共 轿 梯度 法 不 是 1 阶 定常 迭代 法 ,对 它 的 收敛 情况 的 分 析 更 加 复杂 ,4. 3. 2 节 给 出 的 夫 


代 误 差 减 小 的 比例 上 限 ( 式 (4. 32)) 是 一 种 保守 估计 ,实际 情况 可 能 远 好 于 它 。 例 如 , 若 和 矩阵 
A 只 有 mm 个 互 异 的 特征 值 , 则 理论 上 共 轿 梯度 法 最 多 需 mm 次 迭代 就 可 收敛 。 共 罗 梯 度 法 的 
收敛 性 还 依赖 于 详细 的 矩阵 特征 值 分 布 , 若 使 用 合适 的 预 条 件 技术 ,在 一 些 应 用 问题 中 可 达 
到 超 线 性 的 收敛 阶 。 


4.4.2 直接 法 与 迭代 法 的 对 比 


最 后 总 结 求解 线性 方程 组 的 直接 法 和 迭代 法 的 优 缺 点 如 下 。 

(1) 直接 法 不 需要 给 出 解 的 初 值 ,所 以 如 果 已 经 有 了 某 个 近似 解 ,它们 并 不 能 加 以 
利用 。 

(2) 直接 法 通常 能 得 到 很 准确 的 结果 ,但 如 果 不 需 要 特别 准确 时 ,它们 不 占 优势 。 

(3) 迭代 法 的 收敛 性 依赖 于 系数 矩阵 的 某 些 特性 ,如 矩阵 的 对 称 正定 性 和 特征 值 的 分 
布 , 当 方 程 组 的 性 态 不 是 很 好 时 , 它 可 能 不 收敛 或 收敛 得 很 慢 。 因 此 ,直接 法 更 稳健 、 通 用 。 

(4) 迭代 法 能 很 好 地 利用 矩阵 的 稀 朴 性 .有 时 甚至 不 需要 显 式 存 储 和 矩阵 的 非 零 元 素 ,只 
需 按 某 种 计算 过 程 得 到 和 矩阵 与 向 量 的 乘法 结果 。 因 此 ,人 迭代 法 能 更 方便 地 处 理 实际 的 大 规 
模 稀 下 线 性 方程 组 。 

(5) 高 效率 的 迭代 法 往往 需要 与 预 条 件 技术 结合 ,因此 ,如 何平 衡 预 条 件 带 来 的 额外 代 
价 和 收敛 速度 的 提高 是 重要 问题 。 

(6) 由 于 针对 不 同 的 实际 问题 , 稀 下 和 矩阵 的 存储 方法 和 有 效 的 预 条 件 技术 多 种 多 样 ,不 
容易 将 迭代 法 开发 成 通用 的 标准 软件 包 。 而 直接 法 的 算法 ,存储 结构 较 固定 , 较 易 形成 面向 
稠密 矩阵 、 稀 玖 矩阵 的 实用 软件 包 。 

下 面 再 针对 二 维 ,\ 三 维 空间 的 模型 问题 (单位 正方 形 或 正方 体 区 域 的 拉 普 拉 斯 方程 ) , 比 
较 直 接 法 和 和 迭代 法 的 计算 复杂 度 。 假 设 进行 步 长 为 A=1/(& 十 1) 的 均匀 有 限 差 分 网 格 划 
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分 ,内 部 网 格 点 数 分 别 为 kr* 和 (二 维 问题 的 方程 阶 数 为 及 ,三 维 问 题 的 方程 阶 数 为 局 )。 
此 问题 得 到 的 矩阵 是 对 称 、 正 定 、 稀 玖 的 ,每 行 的 非 零 元 素 的 个 数 一 定 , 且 条 件数 为 
O01/)。 对 处 理 带 状 矩 阵 的 Cholesky 算法 ,二 维 时 矩阵 带宽 为 O(k) ,三 维 时 矩阵 带宽 为 
O( 习 ) 。 对 预 条 件 共 斩 梯 度 法 ,假定 预 处 理 可 以 将 条 件数 降 至 O(1/) 。 和 迭代 法 的 终止 判 据 
是 误差 达到 离散 化 的 截断 误差 范围 内 , 即 直 到 误差 降 至 初始 误差 的 h? 倍 。 基 于 这 些 前 提 ， 
表 4-9 列 出 了 各 种 直接 解法 和 和 迭代 解法 求解 二 维 .三 维 模型 问题 的 最 佳 计算 复杂 度 。 其 中 ， 
“Cholesky 算法 ( 稀 玖 矩阵)” 是 一 种 针对 较 一 般 稀 跑 和 矩阵 的 Cholesky 算法 的 改进 。 


表 4-9 求解 二 维 、 三 维 模型 问题 ,各 种 直接 法 和 迭代 法 的 计算 量 


这 法 二 维 三 ” 维 
Cholesky 算法 (稠密 和 矩阵 ) OCA5 ) OR?) 
雅 可 比 迭 代 法 OCA4logA) Oks logk) 
高 斯 - 赛 德尔 迭代 法 OCR4logA) O(ks logk) 
Cholesky 算法 ( 带 状 和 矩阵 OCR:) Ok') 
最 佳 SOR Ok logk) Olk*logk) 
Cholesky 算法 ( 稀 朴 和 矩阵) OR) OCAs ) 
共 固 梯度 法 OCS) O(CA4 ) 
最 佳 SSOR( 对 称 SOR) OCA2s5log&) OCR3S5logA) 
预 条 件 共 轿 梯 度 法 OY OCR35) 


从 表 4-9 看 出 ,对 于 三 维 、 大 规模 问题 ,迭代 法 在 计算 效率 上 的 优势 非常 明显 。 尤 其 是 
预 条 件 共 轿 梯 度 法 ,用 其 求解 线性 方程 组 的 时 间 复 杂 度 已 很 接近 最 优 的 线性 复杂 度 O(n) 
(对 二 维 问题 n= 名, 对 三 维 问题 2 一 局 ) 。 


4.5 ”有 关 数 值 软件 


与 求解 线性 方程 组 的 直接 法 相 比 .迭代 法 的 软件 /程序 资源 比较 少 , 功 能 也 不 够 完善 。 
主要 原因 是 : 各 种 迭代 法 的 收敛 性 都 需要 一 定 的 条 件 ,即便 是 收敛 性 较 好 的 共 轿 梯度 法 ,其 
有 效 性 还 依赖 于 构造 适当 的 预 条 件 ,因此 不 存在 一 个 通用 的 .高 效率 迭代 求解 算法 。 

本 章 介 绍 的 3 种 经 典 和 迭代 法 非常 容易 编程 实现 ,因此 各 种 软件 包 往 往 不 将 它们 纳入 其 
中 。 实 用 价值 较 大 的 迭代 法 是 Krylov 子 空间 迭代 法 .它们 是 一 大 类 方法 ,近年 来 仍 有 新 的 
进展 。 关 于 这 类 迭代 法 ,重要 的 软件 /程序 资源 如 下 。 

(1) MATLAB。MATLAB 中 实现 了 带 预 条 件 的 共 秋 梯度 法 等 Krylov 子 空间 迭代 法 ， 
它们 的 源 代码 也 以 M- 文 件 形式 公开 。 这 些 方法 对 应 的 MATLAB 命令 有 bicg .bicgstab、 
bicgstabl、.cgs、gmres、lsqr、minres、.pcg、qgmr、symmlgq、tfgmr 等 ,详细 介绍 可 通过 MATLAB 
的 帮助 文档 进行 查询 。 
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(2) 程序 模板 库 (Template) (参见 文献 [13])。 这 是 由 多 位 著名 数值 计算 专家 共同 编撰 
的 一 本 介绍 各 种 线性 方程 组 迭代 解法 的 书 , 于 1994 年 出 版 。 随 书 附 带 了 这 些 和 迭代 法 的 程序 
代码 ,包括 用 FORTRAN、C、C++ 和 MATLAB 实现 的 版 本 ,在 Netlib 中 可 以 下 载 它们 以 及 
该 书 的 电子 版 ; http://www. netlib. org/templates/index. html。 

(3) SPARSKIT。 这 是 由 Y. Saad 开发 的 关于 稀 朴 线性 方程 组 迭代 法 和 稀 朴 矩阵 处 理 
的 程序 包 , 用 FORTRAN 语言 编写 。Y. Saad 是 GMRES 算法 的 发 明 者 ,他 出 版 了 关于 
Krylov 子 空间 迭代 法 的 重要 专著 (参见 文献 [14])。 近 年 来 ,他 还 开发 了 C 语言 的 程序 包 
ITSOL, 其 中 实现 了 一 些 最 新 的 预 条 件 技术 ,作为 SPARSKIT 程序 包 的 补充 。 这 些 程序 均 
共享 在 Saad 的 个 人 主页 上 ( http://www-users. cs. umn. edu/ 一 saad/software/) ,上面 还 
有 一 些 相 关 程 序 包 的 链接 。 

(4) 其 他 的 软件 库 。 还 有 一 些 较 新 的 软件 库 包 括 Krylov 子 空间 迭代 法 ,比较 值得 关注 
的 是 一 些 美 国 国 家 实验 室 开 发 的 软件 包 。 例 如 ,PETSc 是 一 个 不 断 更 新 的 程序 库 , 它 的 线 
性 方程 组 求解 器 模块 包括 针对 稀 朴 矩阵 的 迭代 解法 和 预 条 件 构造 算法 ,还 包括 面向 并 行 计 
算 的 一 套数 据 结 构 和 子 程序 。PETSc 的 网 址 是 http://www. mcs. anl， gov/petsc/ 
petsc-as/。 

下 面 对 MATLAB 中 的 pcg 命令 进行 说 明 , 它 对 应 预 条 件 共 恩 梯度 法 (算法 4. 8)。pcg 
命令 的 基本 格式 为 

[x,flag,relres,iter,resvec] 王 pcg (A,b,tol,maxit, Ml,M2,x0), 

其 中 ,输入 参数 tol 是 迭代 停止 闽 值 , 控制 相对 残 差 的 大 小 ;maxit 是 迭代 步 的 上 限 值 ; M1 、 
M2 是 预 条 件 和 矩阵， 需 保证 M 二 M1M2 为 对 称 正定 矩阵 ,在 pcg 命令 的 另 一 种 格式 中 ,这 两 
个 参数 合并 为 一 个 , 即 预 条 件 矩 阵 M。 和 输出 结果 中 很 多 是 可 选 的 ,relres 表示 相对 残 差 , iter 
表示 迭代 步 数 , flag 为 求解 状态 信息 。MATLAB 中 还 提供 了 实现 不 完全 楚 列 斯 基 分 解 的 
命令 ichol, 用 它 处 理 和 矩阵 A 往往 得 到 高 效率 的 预 条 件 矩 阵 。 关 于 命令 ichol 的 使 用 ,请 查看 
MATLAB 的 帮助 文档 。 

应 当 说 明 的 是 ,线性 方程 组 迭代 解法 的 有 效应 用 依赖 于 方法 选择 、 预 条 件 技术 、 数 据 结 
构 .循环 判 停 准则 等 多 方面 因素 。 因 此 ,上 述 资源 仅 提 供 了 一 些 程序 实现 的 参考 , 面 对 实际 
问题 时 如 何 有 效 地 使 用 它们 是 一 个 现实 问题 。 这 需要 了 解 一 些 Krylov 子 空间 迭代 算法 和 
编程 实现 的 详细 知识 ,并 通过 多 次 试验 才能 找到 有 效 的 解决 方法 。 这 些 内 容 已 超出 本 书 的 
范畴 ,读者 可 通过 一 些 后续 课 程 或 实际 科研 工作 加 以 探索 。 


评 述 


线性 方程 组 迭代 解法 的 研究 可 追溯 到 19 世纪 初 ,但 由 于 早期 迭代 法 的 稳定 性 收敛 性 
较 差 , 所 以 20 世纪 60 年 代 之 前 的 主流 方法 都 是 直接 解法 。20 世纪 初 , Liebmann、 
Richardson、Southwell 等 发 展 了 更 多 的 迭代 法 (也 称 为 松弛 法 )。1950 年 左右 ,D. Young 提 
出 了 逐次 超 松弛 法 (SOR) ,并 成 为 历史 上 首 个 成 功 应 用 的 迭代 法 。 


文献 L[15] 使 用 了 如 下 数据 说 明 各 个 年 代 的 “大 规模 ?线性 方程 组 求解 问题 , 见 表 4-10。 
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表 4-10 各 个 时 代 “ 大 规模 ”线性 方程 组 求解 问题 


年 代 和 矩阵 规模 代表 人 物 或 软件 
1950 n=20 Wilkinson 
1965 n=200 Forsythe 和 Moler 
1980 n=2000 LINPACK 
1995 n=20 000 LAPACK 


例如 ,在 1995 年 ,20 000 阶 和 矩阵 的 LU 分 解 在 当时 的 计算 机 上 几乎 达到 计算 的 极限 了 。 
超出 表 中 所 列 规模 的 问题 ,将 主要 依赖 迭代 求解 算法 。 

Krylov 子 空间 迭代 法 的 研究 始 于 20 世纪 50 年 代 。Lanczos 首先 针对 对 称 和 矩阵 提出 了 
为 Krylov 子 空间 X(A ,ro) 圭 span{ro ,Aro。,…,A*!'ro) 构 造 正 交 基 的 有 效 算法 : 

。 C. Lanczos, Solution of systems of linear equations by minimized iterations, /. 

Research National Bureau of Standards, Vol.49, pp. 33-53, 1952. 

1954 年 ,Hestenes 和 Stiefel 发 表 了 共 斩 梯 度 法 。 随 后 的 50 多 年 ,人 们 提出 了 各 种 各 
样 的 Krylov 子 空间 迭代 法 及 相关 技术 ,大 大 推进 了 大 规模 线性 方程 组 求解 算法 的 研究 。 
Krylov 子 空间 迭代 法 也 因此 人选 “20 世纪 十 大 算法 ”。 

共 粥 梯度 法 最 初 被 看 成 是 直接 法 ,由 于 舍 和 人 误差 的 原因 , 它 被 证 明 是 不 实用 的 ,因此 很 
长 一 段 时 间 内 被 人 们 抛弃 。 直 到 20 世纪 70 年 代 , Reid、Golub 等 将 它 作 为 迭代 法 加 以 推 
广 ,后 来 再 结合 预 条件 技 术 , 它 已 成 为 求解 大 型 对 称 正 定 稀疏 线性 方程 组 的 重要 方法 。1980 
年 后 ,Krylov 子 空间 迭代 法 的 重要 研究 成 果 有 GMRES 算法 和 Bi-CGSTAB 算法 等 ,它们 都 
针对 一 般 的 非 对 称 线性 方程 组 : 

*» Y.Saad, M. H. Schultz, GMRES: A generalized minimal residual algorithm for 
solving nonsymmetric linear systems, SIAM J Scientific and Statistical 
Computing, Vol.7, pp. 856-869, 1986. 

。 H. A. van der Vorst, Bi-CGSTAB: A fast and smoothly converging variant of 
Bi-CG for the solution of nonsymmetric linear systems, SIAM J. Scientific and 
Statistical Computing, Vol.13, No.2. pp. 631-644, 1992. 

当前 ,在 迭代 法 的 应 用 研究 中 , 预 条 件 技术 是 一 个 重要 课题 , 预 条 件 和 矩阵 的 构造 往往 使 
用 稀 玻 矩阵 的 直接 求解 技术 。 因 此 ,针对 包含 大 规模 稀 朴 矩阵 的 方程 求解 问题 ,在 算法 设计 
和 编程 实现 的 各 个 层次 上 将 直接 法 与 迭代 法 结合 ,是 重要 的 研究 方向 。 此 外 , 较 新 的 迭代 解 
法 还 包括 多 级 方法 (multi-level method) ,多重 网 格 方法 (multigrid method) ,它们 都 是 针对 
偏 微分 方程 的 求解 而 提出 的 快速 解法 ,并 发 展 出 处 理 一 般 的 线性 方程 组 的 方法 (如 代数 多 重 
网 格 法 )。 在 有 些 应 用 中 ,多 级 方法 、 多 重 网 格 法 能 取得 比 Krylov 子 空间 迭代 法 更 高 的 计算 

【本 章 知识 点 】 1 阶 定常 迭代 法 ;和 矩 阵 的 谱 半 径 ;1 阶 定常 迭代 法 的 基本 定理 (迭代 法 的 
收敛 判 据 );1 阶 定常 迭代 法 的 收敛 速度 ;分 裂 法 ; 雅 可 比 迭 代 法 ;高 斯 - 赛 德 尔 迭 代 法 ;SOR 
迭代 法 ;松弛 因子 ;可 约 矩 阵 ( 不 可 约 和 矩阵 ) ; 雅 可 比 迭 代 法 收敛 性 的 判断 ;系数 和 矩阵 对 角 占 优 
时 3 种 迭代 法 的 收敛 性 ;系数 和 矩阵 对 称 正定 时 3 种 迭代 法 的 收敛 性 ;SOR 迭代 法 收敛 的 必 
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要 条 件 ; 求 解 线性 方程 组 的 变 分 原理 ;最 速 下 降 法 ; 共 斩 梯 度 法 的 主要 思路 与 计算 过 程 ; 预 条 
件 技术 的 基本 概念 ;直接 法 与 迭代 法 的 优 缺 点 对 比 。 


算法 背后 的 历史 : 雅 可 比 


卡尔 。 雅 可 比 (Jacobi,Carl Gustav Jacob,1804 年 12 月 10 日 一 1851 年 2 月 18 日 , 见 
图 4-8) ,德国 数学 家 , 生 于 普 重 士 的 波茨坦 , 辛 于 柏林 。 他 出 生 于 一 个 富裕 的 犹太 人 家 庭 。 
雅 可 比 被 广泛 认为 是 历史 上 最 伟大 的 数学 家 之 一 。 

雅 可 比 于 1816 一 1820 年 在 波茨坦 的 中 学 学 习 , 他 掌握 的 数学 知识 远 远 超过 学 校 讲授 的 
内 容 。1821 年 4 月 进入 柏林 大 学 ,1825 年 获 柏林 大 学 哲学 博士 学 位 。 随 后 ,他 在 柯 尼 斯 保 
大 学 任教 。 雅 可 比 由 于 善于 将 自己 的 新 观点 贯穿 在 教学 之 中 ,并 启发 学 生 独 立 思考 ,因此 成 
为 学 校 最 受 欢 迎 的 数学 教师 之 一 。1827 年 ,其 被 任命 为 教授 ,并 于 1836 年 当选 柏林 ( 普 鲁 
士 ) 科 学 院 院 士 。 他 还 是 瑞典 皇家 科学 院 的 外 籍 院士 。1842 年 ,其 
由 于 健康 问题 而 移居 柏林 ,1851 年 因 患 天 花 而 去 世 。 

雅 可 比 的 主要 贡献 

雅 可 比 在 数学 上 最 突出 的 贡献 是 和 挪威 数学 家 阿 贝尔 (Abel) 
各 自 独 立地 黄 定 了 椭圆 函数 论 。 雅 可 比 在 行列 式 理论 方面 也 做 了 
黄 基 性 的 工作 ,引入 了 雅 可 比 行列 式 , 提 出 了 它们 在 多 重 积 分 的 变 
量 代 换 和 解 偏 微分 方程 中 的 作用 。 雅 可 比 在 数值 计算 方面 的 贡献 
主要 有 : 1845 年 ,他 提出 了 求解 线性 方程 组 的 雅 可 比 和 迭代 法 ;他 还 
提出 了 雅 可 比 算法 ,用 于 准确 计算 正定 矩阵 的 特征 值 分 解 ; 另 外 , 雅 图 4-8 雅 可 比 
可 比 在 研究 双 线 性 型 计算 的 化 简 时 ,提出 了 与 矩阵 的 LU 分 解 等 价 
的 算法 。 雅 可 比 的 其 他 工作 还 包括 数论 、 变 分 法 、 复 变 函 数论 、 微 分 方程 等 方面 。 顺 便 提 一 
下 ,高 斯 - 赛 德尔 迭代 法 的 锥 形 早 在 1823 年 就 被 高 斯 提出 ,而 对 它 的 系统 表述 和 收 你 性 分 析 
则 由 雅 可 比 的 学 生 赛 德尔 于 1847 年 完成 。 

心灵 纯洁 的 数学 家 一 一 雅 可 比 

雅 可 比 是 一 个 品德 高 尚 的 人 ,他 与 阿 贝 尔 各 自 独 立 发 现 了 椭圆 函数 , 却 并 没有 互相 择 
击 , 反 而 客观 真诚 相 待 ,相互 欣 赏 。 椭 圆 函 数 可 以 看 成 三 角 函 数 的 推广 ,但 它 具 有 特别 的 性 
质 : 三 角 函 数 只 有 一 个 实 周期 ,指数 函数 只 有 一 个 虚 周 期 ,可 是 椭圆 函数 具有 双 周 期 性 。 
1827 至 1828 年 , 阿 贝 尔 发 表 了 这 方面 的 工作 成 果 , 同 时 年 轻 的 雅 可 比 也 在 另 一 个 杂志 上 发 
表 了 同样 的 结果 。1829 年 6 月 ,法 国 科学 院 把 著名 的 Grand Prix 奖 颁 给 阿 贝 尔 和 雅 可 比 ， 
他 们 被 看 成 是 当时 最 有 成 就 的 两 个 数学 家 。 阿 贝尔 死 后 , 勒 让 德 准备 将 他 生前 研究 的 椭圆 
函数 方面 的 成 果 发 表 , 并 命名 为 “椭圆 函数 论 ”, 却 遭 到 雅 可 比 的 反对 ,他 认为 应 该 叫 * 阿 贝尔 
函数 论 ”, 因 为 这 类 函数 是 阿 贝 尔 第 一 次 引进 数学 分 析 里 来 的 。 本 来 阿 贝 尔 已 死 , 雅 可 本 可 
以 借 此 提高 自己 在 椭圆 函数 方面 的 威望 ,结果 他 却 力 挺 阿 贝 尔 , 并 且 为 阿 贝 尔 的 作品 被 当时 
的 柯 西 雪藏 了 15 年 而 愤愤 不 平 。 这 种 对 科学 务实 对 他 人 尊重 的 品质 ,值得 后 世 所 有 数学 
家 向 他 学 习 。 

雅 可 比 名 言 

。 上 帝 总 在 使 世界 算术 化 。 
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。 数学 如 同音 乐 或 诗 一 样 显然 地 确实 具有 美学 价值 。 
。 在 奥 林 匹 斯 山上 统治 着 的 上 帝 , 乃 是 永恒 的 数 。 

。 科学 的 唯一 目的 是 为 人 类 的 精神 增光 。 

。 逆向 ,要 经 常 逆向 。 


练 习 题 


二 试 证 明 lim4 三 A 的 充 要 条 件 是 对 任何 向 量 x ,都 有 


limA® x = Ax.。 


kr 


2, 设 有 方程 组 Ar 一 5 其 中 4 为 实 对 称 正定 和 矩阵, 试 证 明 当 0<w<h pp(4) 时 , 送 


XH 一 X 十 (一 Ar)， (k=0;1,25°) 


3. 设 方程 组 
52i1 二 2x3 十 15 二 二 12 
一 Xl 十 47: 十 2zs 一 20 ， 
2zi 一 3zs 十 10zs 一 3 
(1) 考查 用 雅 可 比 迭 代 法 ,高 斯 - 塞 德尔 迭代 法 解 此 方程 组 的 收敛 性 。 
(2) 取 初 始 解 为 [0,0,0J™ ,用 雅 可 比 迭 代 法 及 高 斯 - 赛 德 尔 迭 代 法 解 此 方程 组 ,要 求 当 
|x? 一 x 中 外 -天 10 一 时 终止 迭代 。 
4. 用 SOR 方法 解 方程 组 ( 取 w 一 0.9 ,初始 解 为 [0,0,0]) 
5zi 十 2zs 十 zs 一 一 12 
一 Zi 十 4zs* 十 2zs 王 20 ， 
2zi 一 3zz 十 10zs 一 3 
要 求 当 |‖ xz 一 xz 上 外 -< 天 10 一 时 终止 迭代 。 
5. 基于 高 斯 - 赛 德 尔 迭 代 法 可 得 到 一 种 新 的 迭代 法 。 在 第 & 步 迭代 中 (==0,1,2,…)， 
先 由 高 斯 - 赛 德尔 迭代 公式 根据 x2 算 出 z 2 ,然后 将 分 量 的 更 新 顺序 改 为 从 到 1。 类 似 
地 ,再 计算 一 遍 根据 Xx“ 得 到 x*+? 。 这 种 迭代 法 称 为 对 称 高 斯 - 赛 德尔 (SGS) 方 法 。 试 推导 
SGS 方 法 的 迭代 计算 公式 ,并 证 明 它 也 属于 分 裂 法 , 且 当 和 矩阵 A 对 称 时 ,矩阵 M 也 是 对 
称 的 。 
6. 考虑 线性 代数 方程 组 


其 中 


(1) a 为 何 值 时 ,A 是 正定 的 ? 
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(2) a 为 何 值 时 , 雅 可 比 迭 代 收 敛 ? 

(3) a 为 何 值 时 ,G-S 迭代 收敛 ? 

7. 试 证 明定 理 4.8 中 的 必要 性 部 分 。 

8. 对 雅 可 比方 法 引进 迭代 参数 w>0, 即 

CeHD E x® —wD™! (Ax® —by 
或 者 
x = (I—wD A)x® +woD ib 

称 为 雅 可 比 松弛 法 (简称 JOR 方法 ) 。 试 证 明 : 当 求 解 Ax=b 的 雅 可 比方 法 收敛 且 0 二 o 近 1 
时 ,JOR 方法 也 收敛 。 

9. 设 矩 阵 4 按 行 严 格 对 角 占 优 , 试 证 明 求 解 线性 方程 组 Ax==b 的 雅 可 比 迭 代 法 收敛 
(提示 : 利用 定理 4.9 的 结论 )。 


10. 设 和 矩阵 4 为 实 对 称 正定 矩阵 ,x* 为 方程 Ax=b 的 解 , 试 证 明 x* 为 g(x) 一 喜 x"A 


一 px 的 唯一 最 小 值 点 , 即 对 YxER",xz 关 x” ,p(x)p(x* )。 

11. 设 4AER" 光 是 对 称 正定 矩阵 ,从 方程 组 4kx 一 忆 的 近似 解 yo 王 飞 出 发 ,依次 求 y;， 
使 得 

88) = minglym + tei), (i= 1,2,°,n), 

其 中 ,e; 是 阶 单位 矩阵 的 第 i 列 ， 9(yi) 是 式 (4. 22) 定 义 的 函数 。 然 后 令 x+ 一 岂 ,验证 这 
样 得 到 的 迭代 算法 就 是 G-S 迭代 法 。 

12. 试 证 明 在 共 思 梯度 法 中 ,迭代 解 xi+1 Exo 十 span{ro ,Aro,…,A*ro), 其 中 A 为 原 方 
程 的 系数 矩阵 ,mr 为 初始 的 残 差 向 量 。 

13. 设 4ER" "是 对 称 正定 矩阵 , 户 ,ps，… ,pr ER" 相 互 共 思 , 即 piAp; 二 0(i 隆 j)。 试 
证 明 向 量 pi ,ps，… ,ps 是 线性 无 关 的 。 

14. 设 A 是 一 个 只 有 k 个 互 不 相同 的 特征 值 的 n Xn 实 对 称 和 矩阵 (k 二 n),r 是 任 一 n 维 
实 向量 。 证 明 : 子 空间 


span{r ,Ar ，……, 41r} 
的 维 数 至 多 是 &。 
上 机 题 
1. 考虑 10 阶 Hilbert 矩阵 作为 系数 矩阵 的 方程 组 
Ax =b, 


其 中 ,4 的 元 素 45 一 关 汪 于,b 一 [1, 圳 ,…, 击 ] 。 取 初始 解 zx 一 0, 编 写 程序 用 雅 可 比 过 


代 法 与 SOR 和 迭代 法 求解 该 方程 组 ,将 ex“? 一 x 二 10 作 为 终止 迭代 的 判 据 。 
(1) 分 别 用 雅 可 比 迭 代 法 与 SOR(w==1.25) 迭 代 法 求解 ,观察 收敛 情况 。 
(2) 改变 w 的 值 ,试验 SOR 迭代 法 的 效果 ,考查 解 的 准确 度 。 
2. 考虑 常 微分 方程 的 两 点 边 值 问 题 : 


2 
Ge Ce C0 


y(0) =0, y(1)=1 
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它 的 精确 解 为 

y 一 TQ 一 ec 于 ) 十 oz， 
为 了 把 微分 方程 离散 ,把 [0,1] 区 间 ， 等 分 , 令 和 一 十， 
T=hs 人 一 1 2 一 1)， 


得 到 有 限 差分 方程 


1 一 2 十 六 Yi — Yi 
e2 1 家 二 3» i 
简化 为 

(et+h)yin— (2eth)yit ey = ah’, 
从 而 离散 后 得 到 的 线性 方程 组 的 系数 矩阵 和 右 端 向 量 为 
一 (2e 十 h) 十 记 
E 二 外 二 有》 Ee 二 hh 
A= € 一 (2e 二 h) “. ， b= 
» e 二 hh 
e =(《2e 二 +h) 


(1) 对 e 一 1,4 一 去 ,n 二 100, 分 别 用 雅 可 比 、G-S 和 SOR 方法 求 线性 方程 组 的 解 ,要 求 


前 3 位 有 效 数 字 不 变 时 停止 迭代 ,然后 比较 与 精确 解 的 误差 。 
(2) 对 e==0.1,e= 二 0.01,e 二 0.0001 考虑 同样 的 问题 。 
3. 考虑 如 下 的 偏 微分 方程 Dirichlet 边界 问题 : 


ah? 


ah’—e—h 


g2u 9? 
「 (党 rs =f, 0<z,y<1 
u= 9， (XIE 


其 中 , 厂 为 正方 形 区 域 的 边界 ,fy 均 为 关于 x 和 yy 的 已 知 函 数 。 类 似 于 模型 问题 ,得 到 差 
分 方程 


人 J Tu FF un 十 zi 十 xi) 汪汪 (isj = 1,2,°% ,nC— 1), 
Uo = Gio Uin 一 Jin， (i=0,1,2,.…,n) 
to = poj， Unj = Pn,j» (j= 0,1,2,°",n) 
按照 自然 顺序 排列 ,得 到 的 系数 矩阵 为 
Ss B 
BS B 
A= B Ss’ 
要 
B Ss’ 


其 中 B=—JT1.1 为 n 一 1 阶 单位 矩阵 ,S' 是 对 角 元 均 为 1 十 姑 /4, 次 对 角 元 均 为 一 1/4 的 n 一 1 


阶 对 称 三 对 角 和 矩阵 。 对 天 sin(zy) ,9 一 也 十 史 .n 二 20, 用 共 思 梯 度 法 求解 差分 方程 的 解 , 要 求 
有 4 位 有 效 数字 。 
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与 线性 方程 组 的 求解 问题 一 样 ,矩阵 特征 值 与 特征 向 量 的 计算 也 是 数值 线性 代数 的 重 
要 内 容 。 理 论 上 ,和 矩阵 的 特征 值 是 特征 多 项 式 方程 的 根 ,因此 特征 值 的 计算 可 转换 为 单个 多 
项 式 方程 的 求解 。 然 而 ,对 于 高 阶 和 矩阵 ,这 种 转换 并 不 能 使 问题 得 到 简化 ,而 且 在 实际 应 用 
中 还 会 引入 严重 的 数值 误差 。 因 此 ,正如 第 2 章 指出 的 ,人 们 一 般 将 多 项 式 方程 求解 转换 为 
和 矩阵 特征 值 计算 问题 ,而 不 是 反 过 来 。 

本 章 介 绍 有 关 和 矩阵 特征 值 计 算 问 题 的 基本 理论 和 算法 。 与 非 线性 方程 求 根 问题 类 似 ， 
计算 矩阵 特征 值 的 算法 也 是 迭代 方法 ?。 


5.1 基本 概念 与 特征 值 分 布 
本 节 首 先 介绍 矩阵 特征 值 .特征 向 量 的 基本 概念 和 性 质 ,然后 讨论 对 特征 值 分 布 范围 的 
简单 估计 方法 。 


5.1.1 基本 概念 与 性 质 


定义 5.1; 矩阵 4 一 (au)EC"x"， 
(1) 称 


9(4) = det(MT 一 4) 一 入 十 ch 一 十 … 十 cm 十 cn 
为 A 的 特征 多 项 式 (characteristic polynomial) ;n 次 代数 方程 
p(X) =0 
为 A 的 特征 方程 (characteristic equation), 它 的 个 根 和 ,Xs,… ,A 被 称 为 4 的 特征 值 
(eigenvalue)。 此 外 ,常用 4(4) 表 示 A 的 全 体 特 征 值 的 集合 ,也 称 为 特征 值 谱 (spectrum of 
eigenvalue) 。 
(2) 对 于 矩阵 4 的 一 个 给 定 特征 值 * ,相应 的 齐 次 线性 方程 组 
(A —A)x=0 (5.1) 
有 非 零 解 ( 因 为 系数 矩阵 奇异 ) ,其 解 向 量 x 称 为 矩阵 4 对 应 于 4 的 特征 向 量 (eigenvector)。 
根据 式 (5. 1) 得 出 矩阵 特征 值 与 特征 向 量 的 关系 , 即 
4x 一 Mr 。 (5,.2) 
和 3 章 的 定义 3. 5 就 利用 式 (5. 2) 对 矩阵 特征 值 和 特征 向 量 进行 了 定义 , 它 与 定义 5. 1 等 
价 。 另 外 ,同一 个 特征 值 对 应 的 特征 向 量 一 定 不 唯一 ,它们 构成 线性 子 空间 , 称 为 特征 子 空 
间 (eigenspace) 。 


我 们 一 般 讨论 实 和 矩阵 的 特征 值 问 题 。 注 意 , 实 矩阵 的 特征 值 和 特征 向 量 不 一 定 是 实数 


NE 


四 “如果 用 有 限 次 运算 能 求 得 一 般 矩 阵 的 特征 值 , 则 多 项 式 方程 求 根 问题 也 可 用 有 限 次 运算 解决 ,这 与 阿 贝尔 证 明 
的 “高 于 4 次 的 多 项 式 并 不 都 有 用 初等 运算 表示 的 求 根 公式 ”的 理论 矛盾 。 
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和 实 向 量 ,但 实 特 征 值 一 定 对 应 于 实 特征 向 量 ( 式 (5. 1) 的 解 ) ,而 一 般 的 复 特征 值 对 应 的 特 
征 向 量 一 定 不 是 实 向 量 。 此 外 , 若 特征 值 不 是 实数 , 则 其 复 共 绒 也 一 定 是 特征 值 (由 于 特征 


方程 为 实 系数 方程 )。 定 理 3. 3 表明 , 实 对 称 和 矩阵 4AER” "的 特 
征 值 均 为 实数 ,存在 对 个 线性 无 关 且 正 交 的 实 特征 向 量 , 即 存在 和 


由 特征 值 组 成 的 对 角 阵 A 和 由 特征 向 量 组 成 的 正 交 阵 @ ,使 得 ml 
A=0A0T Ce : y(n) 

例 5. 1( 弹 筑 - 质 点 系统 ) : 考虑 图 5-1 的 弹簧 -质点 系统 ,其 中 
包括 3 个 质量 分 别 为 mi wms wms 的 物体 ,由 3 个 弹性 系数 分 别 为 hy 
如 .hvks 的 弹簧 相 连 ,3 个 物体 的 位 置 均 为 时 间 的 函数 ,这 里 考 s 3 6 
查 3 个 物体 偏离 平衡 位 置 的 位 移 , 分 别 记 为 wm (0) ys(D) ys(D)。 ， 
因为 物体 在 平衡 状态 所 受 的 重力 已 经 和 弹簧 伸 长 的 弹力 平衡 ,所 全 


以 物体 的 加 速度 只 和 偏离 平衡 位 置 引起 的 弹簧 仲 长 相关 。 根据。 向 5， 部 策 质点 系 红 
牛顿 第 二 定律 以 及 胡 克 定律 ( 即 弹 簧 的 弹力 与 拉 伸 长 度 成 正比 ) 
可 列 出 如 下 微分 方程 组 ?. 
My’()+Ky(t)=0 
其 中 y(D)=[yG) ye (GD ys(1)], 
m 0 0 ki 十 ks 一 Aaz 9 
"| m2: 0 —k; ks 十 ks 一 ks 
0 0 ms 0 一 As ks 
一 般 情况 下 ,这 个 系统 会 以 自然 频率 w 做 谐 波 振动 ,而 y 的 通 解 包含 如 下 分 量 : 
y(t) = re™, (j= 1,2,3), 
其 中 ,i= Vv 一 1, 根 据 它 可 求解 振动 的 频率 w 及 振幅 zj 。 由 这 个 式 子 可 得 出 
WO =— wre™”, (= 1,2,3), 


代入 微分 方程 ,可 得 代数 方程 


= 


—wMx+Kx=0, 
或 
Ax = Ax， 
其 中 ,A 二 M1'K,4 二 w*。 通 过 求解 矩阵 A 的 特征 值 可 求 出 这 个 弹簧 -质点 系统 的 自然 频率 
(有 多 个 ) 。 再 结合 初始 条 件 可 确定 这 3 个 位 移 函 数 ,它们 可 能 按 某 个 自然 频率 振动 ( 简 正 振 
动 ) ,也 可 能 是 若干 个 简 正 振动 的 线性 县 加 。 图 
例 5.2( 根 据 定义 计算 特征 值 、 特 征 向 量 ) : 求 矩 阵 


a 
A=|3 -= 
4 一 2 


@ 本 书 第 8 章 将 介绍 这 种 常 微分 方程 组 的 数值 求解 方法 。 


的 特征 值 和 特征 向 量 。 
【 解 】 矩阵 4 的 特征 方程 为 
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1 一 5 1 1 
一 3 1 一 1 1 
一 4 2 4—1 
故 A 的 特征 值 为 4 二 3,4, 二 2( 二 重 特 征 值 )。 
Ea 0 
站 由 
Xs 0 


当 4= 刀 二 3 时 ,由 (MT 一 人 A)x 一 0, 得 到 方程 
一 2 1 1 

对 多 1 

一 4 2 2 
它 有 无 穷 多 个 解 , 若 假设 x 二 1， 则 求 出 解 为 x==[1,1,1]?, 记 为 x, 则 x 是 和 对 应 的 一 个 
特征 向 量 。 
2 0 
"| HE 
Xs 0 


当 4 二 hs 二 2 时 ,由 (MT 一 人)x 一 0, 得 到 方程 
一 3 1 1 
= Wi 到 
—4 2 1 
它 有 无 穷 多 个 解 , 若 假设 zz 二 1， 则 求 出 解 为 x 二 [1,1,2]", 记 为 x2, 则 xs 是 ) 对 应 的 一 个 
特征 向 量 。 图 
下 面 概括 地 介绍 有 关 和 矩阵 特征 值 、 特 征 向 量 的 一 些 性 质 ,它们 可 根据 定义 5.1 以 及 
式 (5.2) 证 明 。 
定理 5.1; 设 入 (j= 二 1,2,….n) 为 n 阶 和 矩阵 A 的 特征 值 , 则 


C1) SW 一 3 一 tr(4)。 
j=1 j=1 


(2) [[2; = det(C4)。 


这 里 ,tr(4) 表 示 徐 阵 对 角 线 上 元 素 之 和 , 称 为 矩阵 的 迹 (trace) 。 
从 上 述 结论 (2) 也 可 以 看 出 , 非 奇 异 矩 阵 特 征 值 均 不 为 0, 而 0 一 定 是 奇异 矩阵 的 特 
征 值 。 
定理 5.2: 矩阵 转 置 不 改变 特征 值 , 即 (4) 王 (47) 。 
定理 5.3: 若 和 矩阵 A 为 对 角 阵 或 上 (下 ) 三 角 阵 , 则 其 对 角 线 元 素 即 矩阵 的 特征 值 。 
定理 5.4: 若 和 矩阵 4 为 分 块 对 角 阵 ,或 分 块 上 (下 ) 三 角 阵 ,例如 


det(A[ 一 人) = 三 ' 似 一 3 一 2 三 05 


Au A … 4 
> Az Sm 
Anm 


其 中 ,每 个 对 角 块 全 均 为 方 阵 , 则 矩阵 4 的 特征 值 为 各 对 角 块 矩阵 特征 值 的 合并 , 即 A(4) 二 
Uacas). 

定理 5.5: 矩阵 的 相似 变换 (similarity transformation ) 不 改变 特征 值 。 设 和 矩阵 4 和 了 瑟 
为 相似 矩阵 , 即 存在 非 奇 异 矩 阵 X 使 得 也 一 X 4X. 则 


(1) 矩阵 A 和 B 的 特征 值 相等 , 即 1(4) 王 1(B) 。 
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(2) 若 y 为 B 的 特征 向 量 , 则 相应 地 ,Xy 为 4 的 特征 向 量 。 

通过 相似 变换 并 不 总 能 把 矩阵 转换 为 对 角 阵 ,或 者 说 矩阵 A 并 不 总 是 可 对 角 化 的 
(diagonalizable)。 下 面 给 出 特征 值 的 代数 重 数 、 几 何 重 数 和 亏损 矩阵 的 概念 ,以 及 几 个 
定理 。 

定义 5.2: 设 和 矩阵 4ER "有 六 个 (msz) 不 同 的 特征 值 Mh; ,Xs，… ,4 , 若 略 是 特征 方程 
的 nj 重 根 , 则 称 n; 为 A 的 代数 重 数 (algebraic multiplicity) ,并 称 X; 对 应 的 特征 子 空间 
(C" 的 子 空间 ) 的 维 数 为 A 的 几何 重 数 (geometric multiplicity) 。 

定理 5.6: 设 和 矩阵 AER”" 的 m 个 不 同 的 特征 值 为 ,7 ，… ,7 ,特征 值 i;(j 二 1,2,… ,mm) 
的 代数 重 数 为 n; ,几何 重 数 为 &;, 则 


(1) >)n = , 且 任 一 个 特征 值 的 几何 重 数 都 不 大 于 代数 重 数 , 即 Vj ,nj 之 kj。 
i=1 


(2) 不 同 特 征 值 的 特征 向 量 线性 无 关 , 并 且 将 所 有 特征 子 空间 的 个 基 ( 特 征 向 量 ) 
j=1 


放 在 一 起 ,它们 构成 一 组 线性 无 关 向 量 。 
(3) 车 每 个 特征 值 的 代数 重 数 等 于 几何 重 数 , 则 总 共 可 得 n 个 线性 无 关 的 特征 向 量 , 它 
们 是 全 空间 C" 的 基 。 
定义 5.3: 若 和 矩阵 4ER" 汪 的 某 个 代数 重 数 为 & 的 特征 值 对 应 的 线性 无 关 特 征 向 量 数 
目 少 于 A( 即 几何 重 数 小 于 代数 重 数 ) , 则 称 A 为 亏损 矩阵 (defective matrix) ,否则 称 其 为 非 
亏损 矩阵 (nondefective matrix) 。 
定理 5.7: 矩阵 4ER" "可 对 角 化 的 充 要 条 件 是 4 为 非 亏 损 矩 阵 。 若 A 可 对 角 化 , 即 
存在 非 奇 异 矩阵 XEC" "使 得 
基业 
其 中 ,A EC "为 对 角 和 矩阵 , 则 A 的 对 角 线 元 素 为 矩阵 4 的 特征 值 , 而 矩阵 X 的 列 向 量 为 
个 线性 无 关 的 特征 向 量 。 
定理 5.7 中 方程 的 等 价 形式 为 A 二 XAX-!, 它 被 称 为 特征 值 分 解 , 也 被 称 为 谱 分 解 
(spectrum decomposition) 。 特 征 值 分 解 存在 的 充 要 条 件 是 4 为 非 亏损 矩阵 。 但 现实 中 还 
有 很 多 矩阵 是 亏损 矩阵 ,如 例 5. 2 中 的 矩阵 , 它 的 特征 值 2 的 代数 重 数 为 2, 而 几何 重 数 仅 
为 1。 这 种 矩阵 不 能 相似 变换 为 对 角 和 矩阵 ,但 存在 下 面 的 约 当 分 解 (Jordan decomposition)。 
定理 5. 8: 设 和 矩阵 4ER"”", 存在 非 奇 异 和 矩阵 XEC”" 使 得 
A= RIX!, 


J 


矩阵 J 为 形 如 的 分 块 对 角 和 矩阵 ( 称 为 约 当 标准 型 ), 其 中 J 二 


1 | 
A 
ls<p, 称 为 约 当 块 ,其 对 角 线 元 素 为 矩阵 A 的 特征 值 。 设 矩阵 A 有 wm 个 不 同 的 特征 值 为 


和 ,和 ,和 ,特征 值 科 Gj 一 1.2,…,m) 的 代数 重 数 为 由, 几何 重 数 为 属 , 则 户 一 性, 


对 应 &; 个 约 当 抉 (对 角 元 均 为 4;), 其 阶 数 之 和 等 于 n，。 
在 约 当 分 解 中 ,如 果 所 有 约 当 块 都 是 1 阶 的 , 则 J 为 对 角 和 矩阵 ,这 种 分 解 就 是 特征 值 分 
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解 ,相应 的 矩阵 为 非 亏 损 矩 阵 。 约 当 分 解 是 很 有 用 的 理论 工具 ,利用 它 还 可 证 明 下 面 关 于 拢 
阵 运 算 结 果 的 特征 值 的 定理 。 

定理 $.9: 设 )(G 王 1,2,…,2) 为 于 阶 和 矩阵 4 的 特征 值 , 则 

(1) 和 矩阵 cA (c 为 常数 ) 的 特征 值 为 cA1 ,cAs ,… ,cA，，。 

(2) 矩阵 4 十 cf(c 为 常数 ) 的 特征 值 为 入 十 c,h 十 c，… ,A 十 c 。 

(3) 矩阵 A*(k 为 正 整数 ) 的 特征 值 为 A,X,… ,Xs 。 

(4) 设 p07) 为 一 多 项 式 函 数 , 则 和 矩阵 p(4) 的 特征 值 为 PC ) ,ph2),… ,p(X,) 。 

(5) 若 A 为 非 奇 异 和 矩阵 , 则 4) 关 0(j 二 1,2,…,n), 且 算 阵 A-! 的 特征 值 为 A7!， 
i i 


5.1.2 特征 值 分 布 范围 的 估计 


估计 特征 值 的 分 布 范 围 或 它们 的 界 , 无 论 在 理论 上 或 实际 应 用 上 ,都 有 重要 意义 。 例 
如 ,本 书 前 面 的 内 容 曾 涉及 两 个 问题 。 


， _ 了) 
(1) 计算 矩阵 的 2- 条 件数 : cond(A4), 二 (ray 5 


(2) 考查 1 阶 定常 迭代 法 x*1? 二 Bx 十 了 的 收敛 性 ,收敛 速度 ,收敛 的 判 据 是 谱 半 经 
0(B) 二 max |N(B) 11, 收敛 速度 为 R= 一 lgp(B) 。 
其 中 ,都 需要 了 解 矩 阵 特征 值 的 分 布 范围 。 
第 4 章 的 定理 4.4 说 明 谱 半径 的 大 小 不 超过 任何 一 种 算 子 范 数 , 即 
o(4) 入 141， 
这 是 关于 特征 值 的 上 界 的 一 个 重要 结论 。 
下 面 先 给 出 定义 5. 4, 再 介绍 有 关 特 征 值 的 界 的 另 一 个 重要 结论 。 


定义 5.4: 设 A=(ay)EC*™", 记 nn = 了 | ww | (4 二 1,2,…,n), 则 集合 Di=={z:|z 一 
jk 


an | 二 ri ,ZEC}(k= 二 1,2,…,n) 在 复 平面 为 以 aw 为 圆 

心 .ri 为 半径 的 圆 盘 , 称 为 A 的 Gerschgorin( 格 什 入 

林 ) 国 瘟 。 CC 
图 5-2 显示 了 一 个 3X3 复 和 矩阵 的 格 什 戈 林 圆 盘 。 
定理 $. 10( 圆 盘 定理 ) : 设 4 一 (ww)EC””, 则 


(1) A 的 每 个 特征 值 必 属于 4 的 格 什 苞 林 圆 盘 中 ， 


图 5-2 复 坐 标 平面 :以 及 3X3 矩阵 4 
二 任 一 特有 必定 得 
即 对 任 一 特征 值 *, 必 定 存在 k(1<k<n) ,使 得 的 格 什么 林 贺 盘 


el< Plo (5.4) 


学 


用 集合 的 关系 说 明 ， 这 意味 着 X(4) UU D: 。 


(2) 若 4 的 格 什 牙 林 圆 盘 中 及 个 加 盘 组 成 一 连通 并 集 S, 且 S 与 余下 的 n 一 m 个 圆 
盘 分 离 , 则 S 内 恰好 包含 4 的 mm 个 特征 值 ( 重 特征 值 按 重 数 计 ) 。 
对 如 图 5-2 所 示 的 例子 ,定理 5. 10 的 第 (2) 个 结论 的 含义 是 : Di 中 只 包含 一 个 特征 
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值 ,而 另外 两 个 特征 值 在 D; .Ds 的 并 集中 。 下 面 对 定理 5. 10 的 结论 (1) 进 行 证 明 , 结 论 (2) 
的 证 明 超 出 了 本 书 的 范围 。 
【证 明 】 设 4 为 A 的 任 一 特征 值 , 则 有 Ax 二 Xx ,x 为 非 零 向 量 。 设 x 中 第 & 个 分 量 最 
大 , 即 
la = max Lm -0% 


考虑 式 (5.2) 中 第 个 方程 
a, 一 Ark， 
将 其 中 与 ze 有 关 的 项 移 到 等 号 左边 ,其 余 项 移 到 右边 ,再 两 边 取 模 得 


[2—anllzl= |Davzil< Dallal<lal lwl (5.5) 
et dy j=l1 
j 关 大 jk 


i i jk 
最 后 一 个 不 等 式 的 推导 利用 了 “x 中 第 & 个 分 量 最 大 ”的 假设 。 将 不 等 式 (5.5) 除 以 |zx4 1, 得 
到 式 (5.4) ,因此 证 明了 定理 5. 10 的 结论 (1)。 上 述 证 明 过 程 还 说 明 , 若 某 个 特征 向 量 的 第 
k 个 分 量 的 模 最 大 , 则 相应 的 特征 值 必 属 于 第 & 个 圆 盘 。 国 
根据 定理 5.2, 还 可 以 按照 矩阵 的 每 列 元 素 定 义 半 个 圆 盘 , 对 于 它们 定理 5. 10 仍然 成 
立 。 下 面 的 定理 是 圆 盘 定理 的 重要 推论 ,其 证 明 留 给 感 兴趣 的 读者 。 
定理 5.11: 设 AER”", 且 A 的 对 角 元 均 大 于 0, 则 
(1) 若 A 严格 对 角 占 优 , 则 4 的 特征 值 的 实 部 都 大 于 0。 
(2) 若 4 为 对 角 占 优 的 对 称 矩 阵 , 则 4 一 定 是 对 称 半 正 定 矩 阵 。 若 同时 4 非 奇 异 , 则 A 
为 对 称 正 定 矩 阵 。 
例 5.3( 圆 盘 定理 的 应 用 ) : 试 估计 和 矩阵 
二 全 而 
A= | 0 一 1 


1 1 =#4 


的 特征 值 范围 。 
【 解 】 直接 应 用 圆 盘 定理 ,该 矩阵 的 3 个 圆 盘 如 下 : 
Di: | 1 一 4| 委 1，D: :|114I 和 2，D::|11+4| 委 2 。 
Di 与 其 他 圆 盘 分 离 , 则 它 仅 含 一 个 特征 值 , 且 必定 为 实数 ( 若 为 虚数 , 则 其 共 恩 也 是 特征 值 ， 
这 与 Di 仅 含 一 个 特征 值 了 矛盾 )。 所 以 ,对 矩阵 特征 值 的 范围 的 估计 是 
9 之 DUD 
再 对 和 矩阵 A7 应 用 圆 盘 定理 , 则 可 以 进一步 优化 上 述 结果 。 和 矩阵 A7 对 应 的 3 个 圆 盘 为 
De | 一 二 | 委 拖 四 和 | 大 | 用 Dr lA | Ls 
这 说 明 Di 中 存在 一 个 特征 值 , 且 为 实数 , 它 属 于 区 间 [ 一 5, 一 3], 经 过 综合 分 析 可 知 3 
个 特征 值 均 为 实数 ,它们 的 范围 是 
和 E[3,5]，)ME [一 2,2]，)hsE [一 5, 一 3] 。 
事实 上 ,使 用 MATLAB 的 eig 命令 可 求 出 矩阵 4 的 特征 值 为 4. 2030, 一 0. 4429， 
一 3.7601。 国 
根据 定理 5.5, 还 可 以 对 矩阵 A 做 简单 的 相似 变换 ,如 取 X 为 对 角 阵 ,然后 再 应 用 圆 盘 
定理 估计 特征 值 的 范围 。 
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例 5.4( 特 征 值 范围 的 估计 ) : 选取 适当 的 矩阵 天 ,应 用 定理 5. 5 和 定理 5. 10 估计 例 5. 3 
P 和 矩阵 的 特征 值 范 围 。 


be 


【 解 】 取 
To 0 
| 1 0 
0 0 0.9 
则 
4 1 0 
A 0 一 10/9 
0.9 0.9 一 4 


的 特征 值 与 4 的 相同 。 对 4, 应 用 圆 盘 定 理 , 得 到 3 个 分 离 的 圆 盘 , 它 们 分 别 包含 一 个 实 特 
征 值 ,由 此 得 到 特征 值 的 范围 估计 
Ne，j ee [一 站 生 
此 外 ,还 可 进一步 估计 o(4) 的 范围 , 即 3<p(4) 志 5.8 。 国 
例 5.4 表明 ,综合 运用 圆 盘 定 理 和 和 矩阵 特征 值 的 性 质 (如 定理 5. 2 定理 5. 5) ,可 对 特征 
值 的 范围 进行 一 定 的 估计 。 对 具体 例子 ,可 适当 设置 相似 变换 矩阵 , 尽 可 能 让 圆 盘 相互 分 
离 , 从 而 提高 估计 的 有 效 性 。 


hs E [一 5.8, 一 2.2] 


5.2 稳 法 与 反 筝 法 


宕 法 是 一 种 计算 矩阵 最 大 的 特征 值 及 其 对 应 特征 向 量 的 方法 。 本 节 介 绍 寡 法 、 反 宕 法 
以 及 加 快 寡 法 迭代 收敛 的 技术 。 


5.2.1 里 法 


定义 5.5: 在 矩阵 4 的 特征 值 中 , 模 最 大 的 特征 值 称 为 主 特 征 值 ,也 称 为 “第 一 特征 
值 ”, 它 对 应 的 特征 向 量 称 为 主 特征 向 量 。 
应 注意 的 是 , 主 特征 值 有 可 能 不 唯一 ,因为 模 相同 的 复数 可 以 有 很 多 。 例 如 , 模 为 5 的 
特征 值 可 能 是 5, 一 5,3 十 4i,3 一 4i, 等 等 。 另 外 ,请 注意 谱 半径 和 主 特征 值 的 区 别 。 
如 果 和 矩阵 4 有 唯一 的 主 特征 值 , 则 通过 宪法 能 方便 地 计算 出 主 特征 值 及 其 对 应 的 特征 
向 量 。 对 于 实 和 矩阵, 这 个 唯一 的 主 特征 值 显 然 是 实数 ,但 不 排除 它 是 重 特征 值 的 情况 。 紧 法 
(power iteration) 的 计算 过 程 是 : 首先 随机 选 一 非 零 向 量 vo。€ R" ,然后 进行 迭代 计算 
Di = Avii, (k= 1,2,.) 
得 到 向 量 序列 {vi) ,根据 它 即 可 求 出 主 特征 与 特征 向 量 。 下 面 用 定理 说 明 。 
定理 $.12: 设 4E "”, 其 主 特征 值 唯一 , 记 为 ,随机 选 一 非 零 向 量 v。 € “" 按 和 迭代 公 
式 进行 计算 : 
vi = Avi, (k= 1,2,.), 
则 有 
(1) 当 k>w 时 ,v4 趋 近 于 41 的 特征 向 量 。 
" lS4 “ 
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(2) lim CH =, (5. 6) 


和 = (De 
其 中 (us); 表 示 向 量 思 的 第 7 个 分 量 , 且 7 为 w us 绝对 值 最 大 元 素 的 下 标 。 

【证 明 】 这 里 只 考虑 怎 阵 4 为 非 亏 损 矩 阵 的 情况 。 设 4 的 主 特征 值 为 一 1 重 特征 
值 ,全 部 个 特征 值 按 模 从 大 到 小 排列 为 : | | 三 … 三 |p-1 | 二 | 和 | 三 … 三 | |, 它们 对 应 
于 一 组 线性 无 关 的 单位 特征 向 量 襄 ,总 ,… ,区 ,。 向 量 vo 可 写成 这 些 特 征 向 量 的 线性 组 合 : 


vo 二 Ql 训 十 十 Qn 革 ,， 


一 般 地 ,ai 关 0, 则 
Vi 一 AD A mo 一 al 验 冯 十 as 和 交 十 。… 十 an 2 大 
pl _ nn k _ 
= [+o 5] 
j=1 j=p 
pl 
=XM (2 oz tse), (5.7) 
j=1 
其 中 人 = Da 旬 一 旋 , 思 十 1,… ,72) ， 则 
ji=p 
v 所 
lima 一 0 > 种 合 = 之 ww 


式 (5.7) 中 ， 5 x; 是 主 特征 值 h; 的 一 个 特征 向 量 。 由 于 特征 向 量 放大 、 缩 小 任意 倍数 后 仍 
是 特征 向 量 ， 则 随和 的 增 大 ， ux 越 来 越 趋 近 于 X41 的 特征 向 量 。 

更 进一步 ,特征 向 量 为 非 零 向 量 ,其 绝对 值 最 大 元 素 一 定 不 为 0, 所 以 当 上 足够 大 时 ， 
(vi)j 关 0，( vrt1); 关 0。 因 此 ,根据 式 (5.7), 有 
[ oj Kj 二 Ei 电 


(Va); 一 和 


由 于 lims 二 0， 随 & 的 增 大 ,上 式 等 号 右边 趋 于 一 个 常数 A1 ,这 就 证 明了 定理 的 结论 。 田 

若 答 阵 4 为 亏损 矩阵 ， 则 可 利用 矩阵 的 约 当 分 解 证 明 式 (5.6), 这 里 略 去 。 在 这 种 情况 
下 , 式 (5.6) 的 收敛 速度 可 能 很 慢 。 

关于 定理 5. 12 ,再 说 明 下 列 两 点 。 

(1) 理论 上 讲 ,定理 5.12 成 立 的 前 提 条 件 应 包括 a 隆 0。 特 别 地 ,车 初始 向 量 v。 为 某 
个 非 主 特征 值 对 应 的 特征 向 量 , 则 式 (5.6) 求 出 的 就 是 那个 特征 值 。 然 而 ,在 实践 中 , 若 随机 
选取 wv。, 且 由 于 计算 的 舍 入 误差 ,就 不 会 出 现 此 情况 。 

(2) 式 (5.6) 的 含义 是 相 邻 迭代 向 量 分 量 的 比值 收敛 到 主 特征 值 。 其 中 j 在 实际 计算 
时 取 w 中 最 大 的 分 量 对 应 的 7 。 

直接 使 用 寡 法 ,还 存在 如 下 两 方面 问题 。 

(1) 溢出 : 由 于 wx , 则 

| 二 1 时 ,实际 计算 w 会 出 现 上 溢出 ( 当 衣 很 大 时 )。 

| 去 1 时 ,实际 计算 w 会 出 现下 溢出 ( 当 衣 很 大 时 )。 


9 


数值 分 析 与 算法 (第 3 版 ) 


(2) 可 能 收 全 速度 很 慢 , 由 于 ex 一 > ci (和 ] x, 因此 er 一 0 的 速度 取决 于 求 和 式 中 训 
j=p , 


减 最 慢 的 因子 ,也 就 是 说 , 当 绝对 值 第 2 大 的 特征 值 其 绝对 值 接近 主 特征 值 的 绝对 值 


时 , 震 法 的 收敛 速度 就 会 很 慢 。 

下 面 采用 规格 化 向 量 的 技术 防止 溢出 ,导出 实用 的 宪法 。 关 于 加 速 收敛 技术 的 讨论 , 见 
92; 人 2 我 。 

定义 5.6: 记 max(v) 为 向 量 v€ R" 的 绝对 值 最 大 的 分 量 , 即 max(v) 二 vw, 其 中 j 满足 
lv| = max vl , 若 j 的 值 不 唯一 , 则 取 最 小 的 那个 ,并 且 称 w==v/max(w) 为 向 量 v 的 规格 
化 向 量 (normalized vector) 。 

例 5.5( 规 格 化 向 量 ); 设 v==[3, 一 5,0]',max(v) 二 一 5, 对 应 的 规格 化 向 量 为 
w= [于 ,1,0] 。 

根据 定义 5. 6, 容 易 得 出 规格 化 向 量 的 两 条 性 质 。 

定理 5.13: 定义 5.6 中 的 规格 化 向 量 满足 如 下 两 条 性 质 。 

(1) 若 & 为 规格 化 向 量 , 则 | u | =- 王 1, 并 且 max(a) 一 1。 

(2) 设 向 量 w 和 us 的 规格 化 向 量 分 别 为 w 和 uw, 若 v1 二 avs ,实数 a 去 0, 则 ww 二 wu。 

在 和 窒 法 的 每 一 步 增加 向 量规 格 化 的 操作 可 解决 溢出 问题 。 先 看 第 一 步 ,vw 二 Av。, 此 时 
计算 vi 的 规格 化 向 量 


2 
1 


= vl Avo 
max( v1) max(Avo) 
然后 使 用 规格 化 向 量 计算 v。 
2 
训 (5.8) 
max(Avo) 
再 进行 向 量规 格 化 操作 ， 
2 
i vo C6..9) 
max( v,) max(A’ vo) 
式 (5.9) 的 推导 利用 了 式 (5. 8) 和 定理 5. 13 的 结论 (2)。 依 此 类 推 ,得 到 
vt = Aui = 0 
, max(A“! vo) 
(k= 1,2,.) 《5. 10) 
UE 44mo 
U: = 一 一 一 一 一 
max(v.) max(A*wvwo) 


根据 定理 5. 12 的 证 明 过 程 (为 了 表述 简单 ,这 里 不 妨 设 主 特征 值 4 不 是 重 特征 值 )， 
A* vo =At [® 加 十 3 ) 总 ] 
A 
A aa 名 + 2m (E) EF 
max(A*v,) max [a 名 十 3 nl 局] max(x1) 


即 wu 逐渐 逼近 规格 化 的 主 特征 向 量 。 同 理 ， 
»。 156 。 


k=>o0 
> 1 


>us 
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a 
UE 
Ds t+) 志 ] 
max(A*! vo) < Cd 
a 人 ma [“ 总 十 > (二 | 启 ]} 
j=2 A 
aa 识 十 > (Y) 
j=2 ad 


于 人 -1 
max[w 元; 十 2 六 | 部 ] 
因此 ,根据 定理 5. 13 的 结论 (1) ,有 


Vi 一 Au 


A 


Xl 


limwx = A > lim max(v) 一 hl。 
ko 人 -co 


max(x1) 
基于 上 述 推导 ,得 到 如 下 定理 ,以 及 如 算法 5. 1 描述 的 实用 紧 法 。 应 注意 的 是 ,由 于 x 去 0， 
则 max(x ) 天 0。 
定理 5.14: 设 AER”", 其 主 特征 值 唯一 , 记 为 入 ,随机 取 一 非 零 初始 向 量 w , 设 wo 二 vo， 
按 迭 代 式 (5.10) 计 算 , 则 


limu = 一 全 (5.11) 
hoo max(x1) 
lim max(v:) = (C5. 12) 


其 中 ,xi 为 主 特征 向 量 。 


算法 5.1: 计算 主 特征 值 4 和 主 特征 向 量 x 的 实用 短 法 
输入 : A; 输出 : x ,和 1. 

u :一 随机 向 量 ; 

While 不 满足 判 停 准 则 do 


v :=Au; 
A :=max(v); { 主 特征 值 近似 值 } 
u := V/A; {规格 化 } 
End 
x1 :=u {规格 化 的 主 特征 向 量 } 


在 算法 5. 1 中 ,可 根据 相 邻 两 步 迭 代 得 到 的 主 特征 值 近似 值 之 差 判 断 是 否 停止 迭代 。 
每 个 迭代 步 的 主要 计算 是 算 一 次 矩阵 与 向 量 乘法 , 若 4 为 稀 朴 矩阵 , 则 可 利用 它 的 稀 玻 性 
提高 计算 效率 。 实 用 的 竹 法 保证 了 向 量 序列 {wv} 、{w) 不 溢出 ,并 且 向 量 v 的 最 大 分 量 的 
极限 就 是 主 特征 值 。 

最 后 针对 寡 法 的 适用 范围 再 说 明 两 点 。 

(1) 若 实 矩 阵 4 对 称 半 正定 或 对 称 半 负 定 , 则 其 主 特征 值 必 唯 一 (而 且 是 非 亏 损 矩 阵 ) 。 
有 时 也 可 以 估计 特征 值 的 分 布 范围 ,从 而 说 明 主 特征 值 的 唯一 性 。 只 有 满足 此 条 件 ,才能 保 
证 笑 法 的 收敛 性 。 

(2) 对 一 般 的 矩 阵 , 笑 法 的 迭代 过 程 有 可 能 不 收敛 ,此 时 序列 {w} 有 可 能 包括 多 个 收敛 
于 不 同 向 量 的 子 序列 , 它 趋向 于 成 为 多 个 特征 向 量 的 线性 组 合 。 但 是 ,一 旦 宪法 的 迭代 过 程 

和 
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收敛 ,向 量 序列 的 收敛 值 就 一 定 是 特征 向 量 ,并 可 求 出 相应 的 特征 值 。 
例 5.6( 实 用 的 窘 法 ): 用 实用 的 过 法 求 如 下 矩阵 的 主 特征 值 : 


| | 


【 解 】 取 初 始 向 量 为 vo。 二 ww 二 [0 1] 。 按 算法 5.1 的 迭代 过 程 ,计算 结果 列 于 
表 5-1 中。 
表 5-1 实用 窜 法 的 迭代 计算 过 程 

k vi max( vw) ur 

0 0.000 1.0 
YL 0 3.000 3.000 0.333 本 
2 2.0 3.333 9..333 0. 600 1 人 
3 2. 800 3. 600 3. 600 0.778 1.0 
4 3..333 3.778 3.778 0.882 1.0 
5 3.647 3.882 3. 882 0. 939 1.0 
6 3.818 3.939 3.939 0.969 EL 
7 3.908 3.969 3.969 0.984 1.0 
8 3.953 3.984 3.984 0. 992 1.0 
a 3.977 3. 992 3.992 0.996 .0 


从 结果 可 以 看 出 ,在 每 次 迭代 步 中 做 的 规格 化 操作 避免 了 分 量 的 指数 增 大 或 缩小 。 经 过 
9 步 迭 代 , 特 征 值 max(w) 已 非常 接近 主 特征 值 的 准确 值 4, 特 征 向 量 也 非常 接近 [1 1]"。 


5.2.2 加 速 收敛 的 方法 


加 速 寡 法 迭代 收敛 过 程 的 方法 主要 有 两 种 : 原点 位 移 技术 和 瑞 利 商 (Rayleigh 
quotient) 加 速 。 下 面 做 一 些 简略 的 介绍 。 

1. 原点 位 移 技术 

原点 位 移 技术 也 称 为 原点 平移 技术 , 它 利 用 定理 5.9 的 结论 (2), 即 矩阵 A 一 pI 的 特征 
值 为 4 的 特征 值 减 去 /的 结果 。 对 矩阵 B=A 一 pI 应 用 寡 法 有 可 能 得 到 矩阵 4 的 某 个 特 
征 值 4; 和 相应 的 特征 向 量 。 要 使 原点 位 移 达 到 理想 的 效果 ,首先 要 求 4, 一 p 是 B 的 主 特征 


值 , 其 次 还 要 使 守法 尽快 收 仇 , 即 比例 | 怎 包 | 要 尽量 小 ,这 里 的 )s(B) 表 示 和 矩阵 下 的 ( 按 
模 ) 第 二 大 的 特征 值 。 


在 某 种 情况 下 设置 合适 的 p 值 ,矩阵 A、B 可 同时 取 到 
主 特征 值 。 图 5-3 显示 了 这 样 一 个 例子 ,矩阵 4 的 特征 值 
分 布 在 阴影 区 域 覆 盖 的 实数 轴 上 ,ai 为 其 主 特征 值 。 按 


月 | 1 图 5-3 所 示 选 取 的 p 值 将 使 得 X41 一 p 是 矩阵 B 二 A 一 pI 的 
工人 1 
' 主 特征 值 ,并 且 显 然 有 
_ 42(B) | |42(4) 
图 5-3 原点 位 移 技 术 示意 图 一 i 
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此 时 用 竹 法 计算 B 的 主 特征 值 能 更 快 地 收敛 ,进而 得 到 和 矩阵 A 的 主 特征 值 。 图 5-3 也 解释 
了 原点 位 移 法 名 字 的 由 来 ,即将 原点 (或 虚数 坐标 轴 ) 移 到 p 的 位 置 上 ,原始 和 矩阵 A 的 特征 
值 分 布 变 成 了 和 矩阵 B 的 特征 值 分 布 。 

采用 原点 位 移 技术 后 ,执行 过 法 仅 带 来 很 少 的 额外 运算 ,而 且 仍然 能 利用 和 矩阵 4 的 稀 
玖 性 。 它 的 关键 问题 是 ,如 何 选 择 合适 的 参数 ,以 达到 较 好 的 效果 ? 这 依赖 于 具体 矩阵 的 
情况 ,以 及 对 其 特征 值 分 布 的 了 解 。 后 面 还 会 看 到 原点 位 移 技 术 的 其 他 用 途 。 

2. 瑞 利 商 加 速 

首先 给 出 瑞 利 商 的 定义 ,以 及 它 与 特征 值 的 关系 ,然后 介绍 瑞 利 商 加 速 技术 。 

定义 5.7: 设 4ER"", 且 为 对 称 和 矩阵 ,对 任 一 非 零 向 量 x 了 0, 称 


(Ax ,x) 
(Wey 


为 对 应 于 向 量 x 的 瑞 利 商 。 这 里 ,符号 (,) 代 表 向 量 内 积 。 
定理 5.15: 设 AER””", 且 为 对 称 和 矩阵 ,其 个 特征 值 依次 为 A 三 hs 宇 … 三 %,, 则 矩阵 A 
有 关 的 瑞 利 商 的 上 下 确 界 分 别 为 i 即 Vx 去 0， 
R(x) A, 
且 当 x 为 A1 对 应 的 特征 向 量 时 ， ey 当 x 为 4, 对 应 的 特征 向 量 时 ,R(x) 二， 
【证 明 】 根据 实 对 称 答 阵 的 特点 , 即 可 正 交 对 角 化 (定理 3. 3), 设 特征 值 70，… 久 


对 应 的 单位 特征 向 量 为 x1 ,xs,，…,x,, 设 x 二 Daxi: 则 Cxox) 一 人 axri， Daxr;) = 


yo ,而 
j=1 


R(x) = 


‘Ax .x) =( DAx;, Dax;) 一 (Dax; Dox; ) Za? 
j=1 j=l1 j=1 j=1 j=1 


和 
2% 2% 
Sul j=1 
守 吉 (Axsx) 
类 似 地 ,可 以 推出 人 sa > 。 
更 进一步 ,车 x 一 吉 , 则 针 呈 车 一 4; 若 x 一 风 , 则 全 一 2。 因此 , 原 命题 得 证 。 国 


应 当 注意 , 瑞 利 商 与 矩阵 算 子 范 数 定义 中 的 -由 As 由 虽 很 相似 ,但 不 一 样 。 在 2- 范 数 意 


义 下 ,矩阵 范 数 ‖ A | ;是 和 矩阵 474 的 瑞 利 商 最 大 值 的 算术 平方 根 。 

定理 5. 15 表明 , 实 对 称 和 矩阵 的 瑞 利 商 R(x) 取 值 在 特征 值 谱 范围 内 , 且 与 特征 向 量 x 对 
应 的 R(x) 等 于 相应 的 特征 值 。 在 实用 的 短 法 中 ,wu 逐渐 趋 近 于 主 特征 向 量 x1, 那 么 
Ruw)s ,计算 瑞 利 商 能 和 否 更 好 地 逼近 :7 

定理 5.16: 设 4 为 实 对 称 和 矩阵 , 且 主 特征 值 唯一 , 记 为 :, 应 用 寡 法 (算法 5. 1), 则 
式 (5. 10) 中 规格 化 向 量 ww 的 瑞 利 商 尺 Cuw ) 满 足 


2k 
Ray = ew) -n+o(( 闪 ) )， 
《yz 》 Ai 
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其 中 ,2 为 ( 按 模 ) 第 二 大 的 特征 值 。 
对 于 此 定理 的 证 明 , 感 兴趣 的 读者 可 参考 文献 [8]。 下 面 解释 一 下 结论 。 
在 实用 的 舌 法 中 ， 


TU A 


max [eax 十 > (2) =] 
j=2 


MA 人 大 
max [en + Do (¥) =] 有 max [ew +we( 生 ] x | 


呈 
max[wm 十 Da 位 ) =] max[ wa 十 os 位 ) =] 
了 一 2 


max(v)= A 


at+b a) a AN 和 -1 
1 i 2 2 
和 的) 

1 
其 中 ,awb 为 与 无 关 的 量 ,上 述 推导 在 k>1 的 情况 下 近似 成 立 ,其 结论 说 明 max( vi) 通 近 
的 误差 为 of( 关 ) 本 对 比 定理 5.16 的 结论 ,Ru) 通 近 的 误差 为 o[ (站 】 ) ,显然 
后 者 能 更 快 地 收敛 。 因 此 ,在 者 法 的 每 一 步 计算 瑞 利 商 可 加 速 收敛 , 仅 需要 多 做 两 次 向 量 内 
积 (wz vwi 和 wiui) ,增加 的 计算 量 几 乎 可 以 忽略 。 


例 5.7( 瑞 利 商 加 速 的 窜 法 ): 对 于 例 5.6 中 的 问题 ,采用 瑞 利 商 加 速 技术 的 宪法 计算 主 
特征 值 。 瑞 利 商 加 速 的 效果 见 表 5-2。 


表 5-2 瑞 利 商 加 速 的 效果 


k max( vi) ul WAur /uu 
0 0. 000 .0 3.000 
1 3.000 0.333 1.0 3. 600 
2 3. 333 0. 600 1.0 3. 882 
3 3. 600 0.778 1.0 3.969 
4 3.778 0. 882 1.0 3. 992 
5 3. 882 0. 939 Lo 3.998 
6 3.939 0.969 1.0 4.000 


与 表 5-1 比较 后 发 现 , 瑞 利 商 收敛 到 主 特征 值 4 二 4 的 速度 要 比 原始 的 寡 法 快 得 多 。 
5.2.3 反 窜 法 


反 申 法 (inverse iteration) 基 于 寡 法 ,可 看 成 是 寡 法 的 一 种 应 用 , 它 能 够 求 矩 阵 4 按 模 最 
小 的 特征 值 及 其 特征 向 量 。 根 据 定理 5.9 的 结论 (5) , 即 对 非 奇 异 和 矩阵 4,4-: 的 特征 值 为 矩 
阵 4 特征 值 的 倒数 ,4 一 的 主 特征 值 便 是 A 按 模 最 小 的 特征 值 的 倒数 。 因 此 ,可 对 4 应 用 
寡 法 求 出 和 矩阵 4 的 最 小 特征 值 。 这 就 是 反 震 法 的 基本 思想 。 
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与 寡 法 对 应 , 反 索 法 的 适用 条 件 是 : 矩阵 4 按 模 最 小 的 特征 值 唯一 。 对 于 实 和 矩阵 ,满足 
此 条 件 时 这 个 最 小 特征 值 一 定 是 实数 ,相应 的 特征 向 量 也 为 实 向 量 。 算 法 描述 如 下 。 


算法 5.2: 计算 最 小 特征 值 MX, 和 特征 向 量 x, 的 反 圭 法 
输入 : 4; 输出 : xn 


u :三 随机 向 量 ; 

While 不 满足 判 停 准则 do 
v :一 4 ui; { 求 解 线性 方程 组 } 
:一 1/max(Cm); { 最 小 特征 值 的 近似 值 } 
有 :一 人 ui; {规格 化 } 

End 

Xn :=u {规格 化 的 特征 向 量 } 


此 算法 同样 使 用 了 规格 化 向 量 的 技术 ,其 理论 证 明 类 似 于 对 实用 的 宪法 的 讨论 ,这 里 不 
再 袭 述 。 反 震 法 算法 与 寡 法 的 区 别 在 于 主要 计算 步 为 v= 二 A™'u, 这 需要 用 到 线性 方程 组 求 
解 的 方法 ,其 计算 量 可 能 比 计算 和 矩阵 向 量 乘法 Au 大 很 多 。 

例 5.8( 反 究 法 ): 用 反 短 法 求 例 5.6 中 和 矩阵 的 按 模 最 小 特征 值 。 反 短 法 的 迭代 计算 过 程 
见 表 5-3。 


表 5-3 反 鹤 法 的 迭代 计算 过 程 


k ul max( v,) 
0 0.000 1.0 

1 一 0. 333 TO 人 375 
2 一 0. 600 1.0 0.417 
3 一 0.778 1.0 0. 450 
4 一 0.882 1.0 0. 472 
5 一 0. 939 lO 0. 485 
6 一 0. 969 1.0 0. 492 
党 一 0. 984 lO 0. 496 
8 一 0. 992 1.0 0. 498 
9 一 0. 996 1.0 0. 499 


从 表 5-3 中 看 出 ,1/max(wx) 大 约 收敛 于 1/0.5 二 2, 因 此 原始 和 矩阵 A 的 最 小 特征 值 为 
2 ,而 对 应 的 特征 向 量 约 为 [一 1,1]。 国 
在 实际 应 用 中 ,车 知道 某 个 特征 值 的 估计 值 .常用 反 短 法 结合 原点 位 移 技术 求 其 精确 值 
和 对 应 的 特征 向 量 。 假 设 已 知 某 个 特征 值 4; 的 估计 值 为 p, 则 一 p 是 矩阵 B= 二 4 一 pI 的 
特征 值 , 且 其 值 非常 小 (往往 是 B 的 按 模 最 小 特征 值 )。 因 此 ,对 A 一 pI 应 用 反 老 法 可 求 出 
准确 的 4; 以 及 它 对 应 的 矩阵 4 的 特征 向 量 。 当 估计 值 p 与 4; 很 接近 时 , 反 每 法 只 迭代 很 
少 的 次 数 即 可 收敛 。 与 5. 2. 2 节 介 绍 的 原点 平移 法 加 速 笑 法 不 同 ,这 里 p 值 的 选取 原则 比 
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较 明确 ,只 要 它 接近 特征 值 , 既 可 以 加 速 反 短 法 的 收敛 ,又 可 适合 于 任意 特征 值 的 计算 。 另 
外 , 若 已 知 一 个 近似 的 特征 向 量 ,根据 瑞 利 商 可 估计 其 对 应 的 特征 值 ,从 而 取 它 为 p 值 。 这 
样 ,可 得 到 一 种 结合 上 述 3 种 技术 的 算法 , 它 不 但 加 速 特征 值 的 收敛 ,也 加 速 特征 向 量 的 收 
敛 ,限于 篇 幅 ,这 里 不 详细 介绍 , 感 兴趣 的 读者 可 参考 文献 [1] 。 

本 节 的 最 后 指出 ,宪法 、 反 宪法 都 只 能 求 出 矩阵 的 某 一 个 特征 值 ,是 否 能 将 它们 推广 来 
计算 矩阵 的 多 个 特征 值 或 者 所 有 特征 值 呢 ? 答案 是 肯定 的 ,这 将 用 到 “收缩 ?技术 ,5. 4 节 会 
详细 介绍 。 


应 用 实例 : Google 的 PageRank 算法 


1. 问题 背景 

互联 网 (Internet) 的 使 用 已 经 深入 人 们 的 日 常生 活 中 ,其 巨大 的 信息 量 和 强大 的 功能 给 
人 们 的 生产 、 生 活 带 来 了 很 大 便利 。 随 着 网 络 信 息 量 越 来 越 庞 大 ,如 何 有 效 地 搜索 出 用 户 真 
正 需要 的 信息 变 得 十 分 重要 。 自 1998 年 搜索 引擎 网 站 Google 创立 以 来 ,网 络 搜索 引擎 
成 为 解决 上 述 问 题 的 主要 手段 。 

1998 年 ,美国 斯 坦 福 大 学 的 博士 生 Larry Page 和 Sergey Brin 创立 了 Google 公司 ,他 
们 的 核心 技术 就 是 通过 PageRank 技术 对 海量 的 网 页 进行 重要 性 分 析 。 该 技术 利用 网 页 相 
互 链接 的 关系 对 网 页 进行 组 织 , 确 定 出 每 个 网 页 的 重要 级 别 (PageRank)。 当 用 户 进 行 搜索 
时 ,Google 找 出 符合 搜索 要 求 的 网 页 ,并 按 它们 的 PageRank 大 小 依次 列 出 。 这 样 ,用 户 一 
般 在 显示 结果 的 第 一 页 或 者 前 几 页 就 能 找到 真正 有 用 的 结果 。 

形象 地 解释 ,PageRank 技术 的 基本 原理 是 : 如 果 网 页 A 链接 到 网 页 B, 则 认为 “网 页 A 
投了 网 页 B” 一 票 ,而 且 如 果 网 页 A 是 级 别 高 的 网 页 , 则 网 页 B 的 级 别 也 相应 地 高 。 

2. 数学 问题 建 模 

假设 nn 是 Internet 中 所 有 可 访问 网 页 的 数目 ,此 数值 非常 大 ,2010 年 已 接近 100 亿 。 
定义 7X7 的 网 页 链接 矩阵 G 一 (gj)ER >"， 若 网 页 ) 有 一 个 链接 到 网 页 i, 则 gi; 二 1, 否 则 
8 一 0。G 矩阵 有 如 下 特点 。 

(1) G 短 阵 是 大 规模 稀 跤 矩阵 。 

(2) 第 j 列 非 零 元 素 的 位 置 表 示 了 从 网 页 j 链接 出 去 的 所 有 网 页 。 

(3) 第 i 行 非 零 元 素 的 位 置 表 示 了 所 有 链接 到 网 页 i 的 网 页 。 

(4) G 和 矩 阵 中 非 零 元 的 数目 为 整个 Internet 中 存在 的 超 链 接 的 数量 。 

(5) 记 G 给 阵 行 元 素 之 和 7; 二 》)gjs， 它 表示 第 i 个 网 页 的 “入 度 ”。 


(6) 记 G 给 阵列 元 素 之 和 c; 二 》)gs， 它 表示 第 j 个 网 页 的 “出 度 ”。 


要 计算 PageRank, 可 假设 一 个 随机 上 网 “冲浪 ”的 过 程 , 即 每 次 看 完 当 前 网 页 后 ,有 两 种 
选择 。 
(1) 在 当前 网 页 中 随机 选 一 个 超 链 接 进 入 下 一 个 网 页 。 


四 主要 的 搜索 引擎 网 站 : 谷歌 (Google) 
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(2) 随机 新 开 一 个 网 页 。 

这 在 数学 上 称 为 马尔 可 夫 过 程 (Markov process)。 若 这 样 的 随机 “冲浪 ”一 直 进 行 下 
去 , 某 个 网 页 被 访问 到 的 极限 概率 就 是 它 的 PageRank。 

设 pp 为 选择 当前 网 页 上 链接 的 概率 (如 jp 二 0.85), 则 1 一 p 为 不 选 当 前 网 页 的 链接 而 随 
机 打开 一 个 网 页 的 概率 。 若 当前 网 页 是 网 页 j, 则 如 何 计 算 下 一 步 浏览 到 达 网 页 i 的 概 沸 
(网 页 7 到 i 的 转移 概率 )? 它 有 两 种 可 能 性 。 

(1) 若 网 页 i 在 网 页 j 的 链接 上 , 则 其 概率 为 pX1/c 十 (1 一 p)X1l1/n。 

(2) 若 网 页 i 不 在 网 页 j 的 链接 上 , 则 其 概率 为 (1 一 p)X1/n。 

由 于 网 页 i 是否 在 网 页 j 的 链接 上 由 gj; 决定 ,因此 网 页 j 到 i 的 转移 概率 为 


1 1 1 Pay 1 1—» 
= gl2X+t + 


cj n 
应 注意 的 是 , 若 cj 二 0 意味 着 gj 一 0, 上 式 改 为 aj 二 1/n。 任 意 两 个 网 页 之 间 的 转移 概率 形 
成 一 个 转移 矩阵 4 一 (dj )uxw。 设 矩阵 了 为 各 个 网 页 出 度 的 倒数 ( 若 没有 出 度 , 设 为 1) 构 成 
的 史 阶 对 角 短 阵 ,e 为 全 是 1 的 n 维 向 量 , 则 
A=pGD+ef", 
其 中 向 量 卫 的 元 素 为 
. (1—p)ns 总 天 0 
l/s c=0" 
设 ,i 一 1,2,…,n 表示 菜 时 刻 浏览 网 页 i 的 概率 ( 2)zW 一 1) ,向 量 x 中 表示 当 


j= 1,2, "ne 


前 时 刻 浏览 各 网 页 的 概率 分 布 ,那么 下 一 时 刻 浏览 到 网 页 i 的 概率 为 3ayt 闪 ,此 时 浏览 


各 网 页 的 概率 分 布 为 x*1? 三 Ax 。 
当 这 个 过 程 无 限 进行 下 去 ,达到 极限 情况 , 即 网 页 访问 概率 x 收敛 到 一 个 极限 值 ,这 


个 极限 向 量 xx 为 各 网 页 的 PageRank, 它 满足 Ax 二 x, 且 > yni 一 二 


3. 用 窜 法 计算 PageRank 
给 定 7X7 的 网 页 链接 矩阵 G ,以 及 选择 当前 网 页 链接 的 概率 p, 计 算 特征 值 1 对 应 的 
特征 向 量 x 
Ax=x 


Sy, 一 1 ” 
i=1 
易 知 上 A11 二 1, 所 以 p(A) 三 1。 又 考虑 矩阵 L 二 1 一 A, 容 易 验 证 它 的 各 列 元 素 和 均 为 0, 则 
为 奇异 敌阵 ,所 以 det(I 一 A) 二 0,1 是 A 的 特征 值 . 主 特征 值 。 更 进一步 , 用 圆 盘 定理 考查 
矩阵 AT 的 特征 值 分 布 ,图 5-4 显示 了 第 j 个 圆 盘 DD),(j 二 1,2,…,n), 显然 其 圆心 aj; 0， 
半径 方 满足 qj 十) 二 1, 因 此 除了 1 这 一 点 , 圆 盘 上 任何 一 点 到 圆心 的 距离 ( 即 复数 的 模 ) 都 
小 于 1。 这 就 说 明 ,1 是 矩阵 4I 和 人 A 的 唯一 主 特征 值 。 对 于 实际 的 大 规模 稀 足 矩阵 4, 蝴 法 
是 求 其 主 特征 向 量 的 可 靠 的 唯一 的 选择 。 
网 页 的 PageRank 完全 由 所 有 网 页 的 超 链 接 结构 决定 , 隔 一段 时 间 重 新 算 一 次 
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PageRank ,以 反映 Internet 的 发 展 变 化 ,此 时 将 上 一 次 计算 的 结果 作为 田 法 的 迭代 初 值 可 
提高 收 化 速度 。 由 于 迭代 向 量 以 及 矩阵 A 的 物理 意义 ,使 用 容 法 时 并 不 需要 对 向 量 进行 规 
格 化 ,而 且 不 需要 形成 矩阵 4, 通过 遍历 整个 网 页 的 数据 库 , 根 据 网 页 间 的 超 链 接 关 系 即 可 
得 到 Ax 中 的 结果 。 

4. 实验 结果 

用 一 个 只 有 6 个 网 页 的 微型 网 络 作为 例子 ,其 网 页 链接 关系 如 图 5-5 所 示 。 通 过 下 述 
MATLAB 命令 可 生成 矩阵 G。 


OO alpha (=—— © delta 


(A\ 1 @ +/ 
Ni pa 


© sigma 加 rho 
图 5-4 和 矩阵 47 的 第 j 个 圆 盘 图 5-5 网 页 超 链接 关系 
>>1= 1234 45 060m 
2)= Tl 22.3 33M 9161 
>>n=6; 
>>G=sparse(i, j, 1, n, n); 
再 使 用 下 述 命令 得 到 矩阵 4。 
>>c=full (sum(G)); 
>>D=spdiags (1./c', 0, n, n); 
>>e=ones (n, 1); 
>>p=。85; delta= (1-p)/n; 
>>A=p*G*D+ideltax*xex*x*e'; 
PageRank 
得 到 的 矩阵 4 为 085 
0.025 0.025 0.025 0.875 0.025 0.875 | 
0.875 0.025 0.025 0.025 0.025 0.025 0 
_|0.025 0.45 0.025 0.025 0.025 0.025 0.15 
4 一 |ooz5 0.45 0.3083 0.025 0.025 0.025| oil 
0.025 0.025 0.3083 0.025 0.025 0.025 0.05[ 
0.025 0.025 0.3083 0.025 0.875 0.025 0 1 2 3 4 5 6 


使 用 每 法 可 求 出 其 主 特征 向 量 , 即 PageRank 为 图 5.6 神算 出 的 PageRatk 数值 
x 一 [0.2675 0.2524 0.1323 0.1697 0.0625 0.1156]r。 
使 用 MATLAB 的 bar 命令 ,显示 x 的 各 分 量 值 ,如 图 5-6 所 示 , 从 中 可 看 出 各 个 网 页 的 
级 别 高 低 。 虽 然 链接 数目 一 样 ,但 网 页 alphaD 的 级 别 比 delta@ 和 sigma@ 都 高 ,而 beta@ 
的 级 别 第 二 高 ,因为 高 级 别 的 alpha 链 接 到 它 上 面 , 它 沾 了 alphaG@D 的 光 。 


。 164 。 


第 5 章 ”和 矩阵 特征 值 计算 


5.3” 算 阵 的 正 交 三 角 化 


为 了 介绍 计算 矩阵 所 有 特征 值 的 方法 ,本 节 先 介 绍 矩 阵 的 正 交 三 角 化 技术 与 矩阵 的 
QR 分 解 。 前 面 的 高 斯 消去 过 程 相当 于 用 消去 矩阵 逐次 左 乘 矩阵 4, 最 终 将 它 转 换 成 上 三 
角 和 矩阵 。 所 谓 正 交 三 角 化 技术 ,就 是 用 正 交 和 矩阵 左 乘 4 实现 消 元 ,从 而 将 它 化 为 上 三 角 
矩阵 。 

实现 矩阵 的 正 交 三 角 化 的 主要 手段 有 Householder( 豪 斯 霍 尔 德 ) 变 换 、Givens( 吉 文 
斯 ) 旋 转变 换 、Gram-Schmidt( 格 拉 姆 - 施 密 特 ) 正 交 化 过 程 3 种 。 这 里 介绍 Householder 变 
换 和 Givens 旋转 变换 技术 。 


5.3.1 Householder 变换 


Householder 变换 也 称 为 初等 反射 变换 ,下 面 先 定义 Householder 矩阵。 用 
Householder 矩阵 左 乘 一 个 向 量 ( 或 矩阵 ) , 即 实现 Householder 变换 。 
定义 5.8: 设 向 量 wE R" 且 wTw 二 1, 称 矩阵 


H(w) 一 工 一 2ww7 (5 13) 
为 Householder 矩阵 ,或 初等 反射 矩阵 。 
wl 
i zr Wy 
设 w=| ，|, 则 根据 定义 得 
TW 
1—2w —2ww CO— 2ww, 
ee 2w2 Zw 
—2ww —2wws … 1—2w 


男 外 ,H(w) 二 H( 一 w), 即 用 一 w 可 构造 出 相同 的 矩阵 H。 

下 面 用 一 个 定理 总 结 Householder 矩阵 和 Householder 变换 的 性 质 。 

定理 $.17: 设 HH 为 定义 5.8 中 的 Householder 矩阵 , 则 

(1) 矩阵 五 为 对 称 和 矩阵 , 即 HT 二 H。 

(2) 矩阵 互 为 正 交 和 矩阵 , 即 HTH=I。 

(3) Householder 变换 实现 向 量 在 线性 空间 中 的 “ 镜 
面 反 射 ”, 即 Hx 是 向 量 x 相对 于 法 向 为 w 的 超 平面 的 镜 
像 ,这 里 的 w 为 构造 矩阵 HH 所 用 的 向 量 ( 式 (5. 13))。 

定理 的 证 明 很 简单 , 留 给 读者 思考 。 应 注意 的 是 , 结 
论 (1)、(2) 说 明 Householder 矩阵 是 一 种 特殊 的 非 奇 异 
阵 , 它 的 逆 矩 阵 是 自身 , 即 H: 二 I。 下 面 以 三 维 实 向 量 空间 
为 例 ,对 结论 (3), 即 Householder 变换 的 几何 意义 作 一 些 图 5.7 Householder 变换 实现 向 量 
直观 的 说 明 。 的 镜面 反射 

如 图 5-7 所 示 , 设 向 量 w 和 x 的 起 点 都 在 三 维 坐标 系 
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原点 ,以 w 为 法 向 做 一 平面 S ,w 为 单位 长 度 向 量 ,x 为 不 在 平面 S 内 的 任意 向 量 ， 


Hx =(I— 2ww' )x = x— 2ww'x 


=xX— 2(w'x)w。 (5.14) 
考查 图 中 向 量 x 在 w 方向 的 投影 向 量 y ,根据 向 量 内 积 的 定义 知 ， 
xw) = wlslyl:= lyl:; 


| y|, = (x,w) = x Tw = wix。 
又 由 于 向 量 y 和 w 方向 相同 , 则 (wTx)w 二 y, 于 是 
Hx = x—2y。 

结合 图 5-4,2y 为 虚线 表示 的 向 量 , 由 此 得 到 Hx 与 x 关于 平面 S 镜像 对 称 。 

下 面 给 出 两 个 定理 ,它们 是 通过 Householder 变换 实现 矩阵 的 正 交 三 角 化 的 基础 。 

定理 5. 18: 设 x,yER",x 关 y, | xll:=| yl >, 则 存在 Householder 矩阵 五 ,使 
Hx=y。 

定理 5.19; 设 x=[zxi,zs,…,X,]' 关 0, 则 存在 Householder 矩阵 五 ,使 Hx 二 一 oei， 
其 中 ， 
Ls Zi 之 0 
一 1， 王 去 0 

定理 5. 18 的 证 明 是 构造 性 的 ,假设 单位 长 度 向 量 w= 二 (x 一 y)/ x 一 y 中 ;, 则 可 证 明 由 
它 生 成 的 HH=1 一 2ww" 能 使 Hx 二 y。 这 通过 Householder 变换 的 几何 意义 很 容易 理解 。 
Householder 变换 实现 镜面 反射 ,向 量 x 和 y 关于 镜面 是 对 称 的 , 则 镜面 的 法 向 必然 是 沿 
x 一 y 的 方向 ,或 其 反方 向 , 据 此 可 构造 出 向 量 w 和 相应 的 矩阵 五 满足 要 求 。 此 外 ,还 可 以 
证 明 满 足 要 求 的 Householder 矩阵 是 唯一 的 。 

定理 5. 19 实际 上 是 定理 5. 18 的 推论 ,因为 ‖ 一 ce | ;= 二 1o| 二 x 上,。 因 此 ,构造 满足 
定理 要 求 的 Householder 矩阵 时 ,可 取向 量 w 二 (x 十 ce1)/ | xz 二 ce | 。 对 定理 5. 19 再 说 
明 以 下 两 点 。 

(1) 该 定理 的 意义 为 ,采用 Householder 变换 可 将 向 量 x 中 除 第 一 个 分 量 外 的 其 他 分 
量 均 变 成 0, 这 是 一 种 消 元 操作 。 

(2) 公式 再 x 王 一 cei 等 号 右边 的 “一 ”号 可 保证 计算 的 稳定 性 , 它 使 得 求 w 的 第 一 个 向 
量 分 量 时 ,计算 的 是 zi: 二 signCzi) | x 1，, 为 两 个 同 符号 的 数 相 加 ,不 会 发 生 * 抵 消 ?现象 。 
同时 注意 ,变换 后 向 量 的 第 一 个 分 量 改变 了 符号 。 

例 5.9(Householder 变换 ) : 确定 一 个 Householder 变换 ,用 以 消去 下 面向 量 中 除 第 一 
个 分 量 以 外 的 分 量 


0 一 sign(zi)|xll ，e 王 [1,0,…,0]7， sign(zi) = 


【 解 】 根据 定理 5. 19, 令 o=sign(a1) | a|,==3, 则 构造 向 量 


2 3 5 
| 上 | 
2 0 2 


取 w=v/ vs 可 根据 定义 构造 Householder 矩阵 瓦 。 此 时 ， 
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2 5 = 
泥 rc 
Ha =a—2(wia) .w=a—2 ev 1 |_2xBxli 0 |。 
vv 30 
2 2 0 


这 验证 了 Householder 变换 的 效果 。 注 意 ,这 里 没有 生成 矩阵 HH 和 向 量 w, 而 是 利用 一 个 与 
w 同方 向 的 向 量 v 表示 Householder 变换 。 这 给 计算 Householder 变换 的 结果 带 来 方便 ,因为 


时 
m=- (1 290 jx Ey (5.15) 


也 工作 


只 需 计 算 向 量 v 与 x 的 内 积 ,而 不 需要 计算 矩阵 与 向 量 的 乘法 。 
5.3.2 Givens 旋转 变换 


Givens 旋转 变换 也 称 为 平面 旋转 变换 , 它 能 够 消去 给 定向 量 的 某 一 个 分 量 ( 使 其 为 
零 ), 这 不 同 于 Householder 变换 消去 向 量 中 的 多 个 分 量 。 处 理 已 经 有 很 多 零 元 素 的 稀 跑 
向 量 、 稀 玖 和 矩 阵 时 ,Givens 旋转 变换 非常 有 效 。 

下 面 先 给 出 2X2 的 Givens 旋转 矩阵 的 定义 。 

定义 5.9: 矩阵 CER2”:? , 若 

c-|“ "| ， (5.16) 
下 本 过 


其 中 ,c= 二 cos0,s 二 sin0,0ER , 则 称 和 矩阵 G 为 2 阶 Givens 旋转 算 阵 。 
从 定义 可 以 看 出 ,在 二 维 几 何 空间 中 ,Givens 旋转 矩阵 实现 向 量 的 旋转 变换 , 即 Gx 为 
向 量 x 顺 时 针 旋 转 0 角度 后 得 到 的 向 量 , 并 且 和 矩阵 G 是 正 交 和 矩阵 。 因 此， 


© 一头 
Cr 一 
[| 


合适 地 选择 0 值 ,或 者 实际 的 参数 c 和 (它们 满足 必 十 ”二 1) ,构造 Givens 旋转 矩阵 可 
消去 任意 向 量 的 分 量 。 例 如 ,要 使 


C 5 a 
wa 
= Cd 0 
其 中 ,a= Vzxi 十 x2( 由 于 G 为 正 交 矩阵 , 必 有 |e|= ‖x | >) , 则 
Tl T2 


c= - ， 5 一 6 (5:17) 
Vx? 二 xz? VXi 二 xz 


为 避免 数值 上 溢 , 有 时 也 对 公式 进行 调整 。 若 |xi | 三 |zxz|, 则 可 按 如 下 公式 计算 : 


t 2 这 1 ey et so 
Xl 本 
若 |z | 过 |xs|, 则 类 似 地 ， 
2 1 
1 » ， St 。 
we NA 


上 述 消去 二 维 向 量 一 个 分 量 的 技术 可 用 于 处 理 一 般 的 维 向 量 ,车 对 目标 分 量 & 和 另 
一 个 分 量 j 进行 “旋转 ”, 可 以 将 分 量 & 变 为 0, 而 将 其 原 有 值 “ 添 加 ”到 分 量 j 中 。 要 达到 这 
个 目的 , 先 构 造 一 个 2X2 的 Givens 旋转 矩阵 ,再 将 其 * 嵌 入” 到) 阶 单位 矩阵 的 第 jk 行 和 
第 7) 列 中 , 便 得 到 实际 的 阶 旋 转 答 了 泗 。 以 n==5, j= 二 2, k= 二 4 的 情形 为 例 ,旋转 变换 为 
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1 0 0 0 0l|x 1 

人 a 
Gr+=|10 0 1 0 0||z;|= |z; |, 

0 一 机 0 .6 OW 0 

0 0 0 0 1JLzs Ts 


其 中 
Ts Ta 3 2 

i VzE 二 zf 。 
很 容易 看 出 ,这 种 一 般 的 Givens 旋转 变换 矩阵 仍然 是 正 交 和 矩阵。 利用 一 系列 这 样 的 Givens 
旋转 ,可 依次 消去 向 量 中 的 非 零 元 素 , 使 其 最 终 成 为 ce 的 形式 (达到 与 定理 5. 19 中 
Householder 变换 同样 的 效果 ) 。 

例 5.10(Givens 旋转 变换 ) : 通过 一 系列 Givens 旋转 变换 ,消去 下 面向 量 中 除 第 1 个 分 
量 以 外 的 分 量 


c 


2 
0 
L 
2 


【 解 】 首先 针对 向量 的 第 一 、 三 分 量 构造 旋转 变换 矩阵 64 一 |“ "|. 利用 


TS CO 


式 (5.17) 求 出 上 一 2/V5,s: 一 1/V5 , 则 


Cl 分 - 病 . .内 V5 
0 站 个人 0 
G 一 Caa 一 
一 3 0 ci 0 0 
0 0 0 1 2 


然后 ,针对 向 量 的 第 一 .四 分 量 构造 旋转 变换 矩阵 cG=|“ 


$2 


|. 利用 式 (5.17) 来 出 
cs ==V5/3,s;= 二 2/3, 则 


C2 0 0 sz Cs 0 0 sy ||v5 3 
0 二 和 iQ © 0 
G; = GGia 一 一 
0 人 工 0 1 0|o0 0 
一 和 和 00 覆 二 0 国 


从 例 5. 10 可 以 看 出 ,一 般 的 Givens 旋转 矩阵 都 只 有 4 个 需 计 算 的 元 素 , 而 它们 的 值 仅 
由 两 个 参数 cs 确定 。 并 且 ,Givens 旋转 矩阵 与 任意 向 量 相 乘 都 仅 影响 向 量 的 两 个 分 量 ,不 
会 改变 其 他 分 量 的 值 。 对 于 所 有 分 量 均 不 为 零 的 n 维 向 量 , 要 达到 一 次 Householder 变换 
的 消去 效果 , 需 做 n 一 1 次 Givens 旋转 ,其 计算 量 和 存储 量 都 高 于 Householder 变换 。 但 对 
于 非常 稀 玖 的 向 量 , 采 用 Givens 旋转 显然 更 有 效 。 


5.3.3 和 矩阵 的 QR 分 解 


虽然 讨论 特征 值 问 题 时 考虑 的 矩 阵 都 是 阶 方 阵 ,但 为 了 不 失 一 般 性 ,本 节 介 绍 mmXn 
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矩阵 的 正 交 约 化 和 QR 分 解 , 主要 讨论 基于 


Householder 变换 的 方法 。 
设 和 矩阵 AER”",m 宇 n, 考 虑 构造 一 系列 初等 反 


射 阵 Hi ,Hi,…,Hi, 使 H,…H;HiA 为 上 三 角 和 矩阵 的 
问题 。 上 三 角 和 矩阵 的 非 零 元 分 布 情况 如 图 5-8 所 示 。 

将 矩阵 A 看 成 由 多 个 列 向 量 组 成 , 设 4= [a， 
Qs,… ,qj] ,其 中 ,aj (1 二 j 二 nn) 为 m 维 向 量 。 根 据 定理 5. 19 ,存在 初等 反射 矩阵 了 ER" ”， 
使 Hla 二 一 o1ef”, 这 里 上 标 (m) 表 示 m 维 向 量 , 则 得 


m>n m=n 


图 5-8 上 三 角 和 矩阵 的 非 零 元 分 布 情况 


—o a CQ 一 而 | | 
4Ao 一 HA| 0 a a |_| 0 Eo a 
0 a a 0 | | 
接 下 来 希望 构造 初等 反射 矩阵 H; ,通过 它 将 矩阵 42 第 二 列 的 对 角 线 下 方 元 素 消 为 0, 即 
x 一 0 关 
玉 0 0 


HHias 二 | 0 |, 同 时 还 应 保证 H,| 0 |=| 0 |, 这 里 * 表 示 非 零 矩阵 元 素 。 
0 0 0 
' oo ri 


RR 品 *“ 相 局 i 2 一 | 
素 | 表示 全 0 的 列 向 量 相应 地 记 A 让 


1 071[ 一 wm 7 一 中 得 
H,A? = ea 
? omo A® 0 HA'”]|]° 


只 需 让 形 4'e 的 第 一 列 只 有 第 一 个 元 素 非 零 ,这 可 用 类 似 于 前 面 消 矩 阵 4 的 第 一 列 的 做 法 
达到 。 构 造 初等 反射 年 阵 形 ERe -ore 9 ,使 Ha 和? 二 一 oef” ,其 中 af 表示 4 的 
第 一 个 列 向 量 ,那么 


人 下 =| | 


Ol i ri 
0 : O02 | | 
A | :0 : 0 Has? … Hoa’''™ 
J | | 
0 :0 | | 


这 样 就 实现 了 矩阵 A 第 二 列 对 角 线 下 方 元 素 的 消去 。 注 意 ,这 样 构造 的 H, 也 是 mwXm 的 
Householder 矩阵 ,将 构造 Hs 使 用 的 wv 向量 的 最 开始 增加 一 个 0 分 量 即 得 到 H; 对 应 的 
vo 问 量 。 

同 理 , 对 矩阵 4 的 后 续 各 列 , 若 不 满足 上 三 角 和 矩阵 的 要 求 , 可 类 似 地 构造 出 
Householder 变换 矩阵 ,实现 消 元 操作 。 如 果 当 前 列 满足 要 求 , 可 认为 变换 矩阵 为 单位 矩阵 
I。 这 样 ,最 多 做 nn 次 Householder 变换 ,可 得 到 和 矩阵 4“ >" 为 上 三 角 和 矩阵 。 

例 5.11( 用 Householder 变换 做 正 交 约 化 ): 通过 Householder 变换 将 矩阵 4 化 为 上 三 
角 和 矩阵 
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1 0 
0 1 
0 0 
A= 
0 
1 


一 1 

三 本 

0 Se 

【 解 】 为 消去 4 的 第 一 列 对 角 线 以 下 的 元 素 , 取 a= 上 [1 0 0 一 1 一 1 0J*|,:= 
1.7321, 向 量 v1 为 


0 
0 
1 
0 
1 
1 


1 1.7321 2.7321 
0 0 0 
mi 一 十 后 四 加 =| 
1 1 Toe = ' 0 = 
= 0 = 
0 0 0 


使 用 向 量 wi 二 vi/ | vi ,构造 Householder 矩阵 Hi ,经 过 Householder 变换 后 得 到 
sl Vy | 0.5774 0.5774 


0 1 0 
0 0 1 
HA = 
0 0.7887 一 0.2113 
0 一 二 2 0.7887 
0 = 1 
为 消去 HA 的 第 二 列 对 角 线 下 方 元 素 , 类 似 地 取 纪 二 上 [1 0 0.7887 一 0.2113 一 1 | :一 
1.6330, 向 量 v, 为 
0 0 和 0 
1 1.6330 2. 6330 
0 0 0 
v2 一 十 一 
0.7887 0 0.7887 
2113 0 —0.2113 
| 0 | = 


使 用 向 量 w= 二 vs/ ev, | , 构造 Householder 矩阵 H; ,经 过 Householder 变换 后 得 到 
= 7321 0.5774 0.5774 


0 一 1.6330 0.8165 
0 0 1 
H;H'A = o 
0 0 0.0332 
0 0 0.7231 
0 0 0.6899 


为 消去 HHiA 的 第 三 列 对 角 线 以 下 的 元 素 , 取 os 二 上 [1 0.0332 0.7231 0.6899]" := 
1.4142, 向 量 v; 为 
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0 0 0 

0 0 0 

1 1.4142 2.4142 
vs 一 十 二 

0.0332 0 0.0332 

0.7231 0 0.7231 

0. 6899 0 0. 6899 


使 用 向 量 ws 二 v3/ 中 ws;, 以 及 相应 的 Householder 变换 H; ,有 
—1.7321 0.5774 O05774 


0 一 1.6330 0.8165 
0 一 1.4142 
HH;HiA = 
0 0 0 
0 0 0 
0 0 0 
这 样 就 将 矩阵 4 变 成 了 上 三 角 和 矩阵 。 国 


定理 $.20( 和 矩阵 的 QR 分 解 ) : 设 和 矩阵 AER”*"(m 宇 n)， 

(1) 存在 mm 阶 正 交 矩 阵 Hi,H,,…,H, ,其 中 Hj;(j 二 1,2,…,n) 为 初等 反射 矩阵 或 单位 
矩阵 ,使 得 下 … 再 :本 4 一 R,RER "为 上 三 角 矩 阵 。 

(2) 矩阵 4 有 QR 分 解 式 

A= QR, 
其 中 QER 渡 "为 正 交 矩阵 ,RER" 为 上 三 角 和 矩阵 。 若 4 为 非 奇 异 方 阵 , 且 R 的 对 角 线 元 
素 均 为 正 , 则 此 分 解 唯一 。 

【证 明 】 (1) 前 面 的 推导 过 程 即 证 明了 结论 (1)。 

(2) H,*“*HsHIA=R = A=H7'*…HAH7 R=H*…H, 1H,R. 

这 里 利用 了 初等 反射 阵 的 逆 和 矩阵 为 自身 的 结论 。 设 矩阵 8 二 Hi…H,-1H, ,由 于 正 交 算 
阵 的 乘积 仍 是 正 交 和 矩 阵 ,Q 为 正 交 和 矩阵 ,得 A 二 QR。 关 于 分 解 唯 一 性 的 结论 , 留 给 读者 
思考 。 国 

注意 : 矩阵 的 QR 分 解 是 普遍 成 立 的 ,但 只 有 当 满 足 特定 条 件 时 ,该 分 解 才 唯 一 。 更 进 
一 步 的 分 析 表 明 , 若 要 求 矩 阵 尺 的 对 角 线 元 素 均 为 正 , 则 不 同方 法 得 到 的 QR 分 解 有 相同 
的 R 和 矩 阵 。 此 外 ,和 矩阵 R 的 对 角 线 元 素 也 可 能 为 0, 此 种 情况 对 应 的 原 矩 阵 A 不 是 列 满 秩 
的 , 即 矩 阵 4 的 列 向 量 线性 相关 。 下 面 给 出 实现 矩阵 正 交 三 角 化 过 程 的 算法 。 


算法 5.3: 基于 Householder 变换 的 矩阵 正 交 三 角 化 
输入 : 4 一 [ai "2 sd | 输出 : ADDz Du 
1 


or ssign(an) | Sas; { 下 三 角 部 分 第 人 列 的 2- 范 数 } 

If wx 一 au then { 第 & 列 对 角 线 下 方 已 经 全 为 0 } 
Continue with next &; 

End 
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v4 :二 [0,…,0,am，…,amj] 十 0re4;{ 构造 Hi 的 向 量 ,ei 为 m 维 向 量 } 
Be = OE OR 
For j=k, k+l, ,nn { 对 剩余 各 列 做 Householder 变换 } 
Yi := whaj; 
a; := — 2%/B) vs; {Hia® =a® —2(via® /vv)v.} 
End 
End 


算法 5. 3 描述 了 如 何 使 用 Householder 变换 将 矩阵 4 约 化 为 上 三 角 和 矩阵 R 的 过 程 ,算法 
执行 结束 后 矩阵 4 变 成 了 R。 该 算法 并 没有 生成 QR 分 解 中 的 矩阵 8, 而 得 到 形成 一 系列 
Householder 矩阵 所 需 的 v 向 量 ( 它 与 定义 5.8 中 的 w 的 关系 为 mw 一 wy ev |‖,), 因 为 实际 涉及 
的 计算 都 是 五 与 某 个 向 量 x 的 乘积 ,使 用 式 (5. 15) 进 行 高 效率 的 计算 。 另 外 ,经 过 变换 后 矩阵 A 
的 对 角 线 下 方 全 为 0, 为 了 节约 存储 空间 ,可 进一步 改进 算法 将 v 向 量 的 非 零 元 素 存 于 其 中 。 


算法 5. 3 中 乘除 法 的 计算 次 数 约 为 mx? 一 要 ,详细 的 分 析 留 给 感 兴趣 的 读者 思考 .。 最 


后 说 明 一 点 ,采用 一 系列 Givens 旋转 变换 也 可 进行 QR 分 解 , 它 适 用 于 对 稀 朴 矩阵 进行 
处 理 。 


s.4 所 有 特征 值 的 计算 与 QR 算法 


本 节 介 绍 计算 矩阵 所 有 特征 值 的 方法 ,对 部 分 难度 较 大 的 内 容 , 仅 讨论 其 主要 思想 以 及 
具体 做 法 。 

要 计算 矩阵 的 全 部 特征 值 ,可 通过 下 述 两 个 问题 启发 思路 。 

问题 1: 什么 样 的 矩阵 易于 求 出 全 部 特征 值 ? 

问题 2: 对 一 般 矩 阵 做 怎样 的 变换 能 保持 特征 值 不 变 ? 

根据 定理 5.3、 定 理 5.4 我 们 知道 ,对 角 和 矩阵 、 上 (下 ) 三 角 和 矩阵 的 全 部 特征 值 容易 求 得 
(就 是 它们 的 对 角 线 元 素 ) ,而 对 于 分 块 对 角 和 矩阵 分 块 上 (下 ) 三 角 和 矩阵 , 若 对 角 块 维 数 较 小 ， 
也 易 求 出 所 有 特征 值 。 这 回答 了 问题 1。 对 于 问题 2, 易 知 相似 变换 X 4X 保持 矩阵 特征 
值 不 变 。 在 实际 计算 中 , 若 X 为 正 交 矩阵, 则 更 好 ,因为 正 交 矩阵 易于 求 道 ,而 且 其 中 元 素 
的 数量 级 差别 不 大 ,有 关 的 计算 是 数值 稳定 的 。 

通过 上 述 讨论 ,我 们 发 现 如 果 能 通过 正 交 相 似 变 换 将 一 般 的 矩阵 转换 为 三 角 和 矩阵 或 分 
块 三 角 和 矩阵 , 则 可 求 出 原 和 矩阵 的 所 有 特征 值 。 下 面 首 先 介绍 一 种 收缩 技术 (deflation 
technique) , 它 通过 正 交 相 似 变换 得 到 分 块 上 三 角 和 矩阵 ,降低 了 待 处 理 和 矩阵 的 阶 数 ,从 而 逐 
步 求 出 所 有 特征 值 ,然后 介绍 QR 算法 ,以 及 相关 的 一 些 实用 技术 。 


5.4.1 收缩 技术 
假设 已 知 矩阵 4 的 一 个 特征 向 量 x1( 如 通过 和 客 法 或 反 徊 法 ), 可 以 构造 正 交 变换 将 xi 转 
换 为 只 有 第 一 个 分 量 不 为 零 的 向 量 , 易 知 它 是 用 上 述 正 交 变换 对 A 作 正 交 相 似 变换 得 到 算 
阵 的 特征 向 量 。 考 虑 到 这 个 特征 向 量 的 特殊 性 ,会 发 现 A 正 交 相似 变换 后 得 到 的 矩阵 是 一 
。 172 。 
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个 分 块 上 三 角 和 矩阵 。 设 疡 相应 的 特征 值 为 1; ,上 述 正 交 变 换 对 应 正 交 矩阵 五 , 则 


Hx! 三 cel， 


> HaHre = HA (Dx | 0 ee 
o o o o 

由 于 e@==[1,0,…,0J ,上 式 中 HAHTe, 即 矩 阵 HAHT 的 第 一 列 。 因 此 有 

| 

man | je 

0 Ai 
其 中 A1 ER emERD。 因 为 正 交 相似 变换 不 改变 矩阵 特征 值 , 所 以 求 矩 阵 A 
的 其 余 特征 值 变 为 求 n 一 1 阶 和 矩阵 A 的 特征 值 。 更 进一步 ,车 Xs 是 A 的 一 个 特征 值 (假设 
和 天 il ) , 且 对 应 的 特征 向 量 为 y;, 则 可 证 明 


ee _ riy 
= 可 | | 其 中 w 二 元 二 于 


y2 
是 A 的 与 4, 对 应 的 特征 向 量 。 
例 5.12( 收 缩 技 术 ) :已 知 和 矩阵 


全 
A=|2 0 Ls 
cs 


的 一 个 特征 值 和 特征 向 量 分 别 是 三 2,xi 二 [1,1,0]", 求 它 的 其 他 特征 值 。 
使 用 Householder 变换 对 x 进行 消 元 ,相应 的 oc=V2==1. 4142, 所 以 构造 Householder 
和 矩阵 H 所 需 的 向 量 v 为 


2. 4142 0. 9239 
岂 一 Xi 十 oel 一 |1 过 WW=v/ | wll = :0.3827 


0 0 
一 0.7072 一 0.7072 0 
-em 0 7072 | 
0 0 1 
所 以 可 求 出 
2 3 一 1.4142 
HAH" = [ 1 0 
0 一 1.4142 2 


让 i 1 0 

矩阵 4 的 其 他 特征 值 通过 年 阵 4 一 | 3 

征 值 分 别 为 1 和 2。 所 以 ,矩阵 4 的 特征 值 为 :一 2( 二 重 特征 值 ), ?一 1。 国 

注意 : 计算 HAH" 时 实际 上 不 需要 真正 生成 Householder 矩阵 ,可 先 计算 B= 二 HA, 然 

后 计算 HAH" 二 (HB")"。 这 样 ,基本 的 计算 都 转换 为 对 若干 列 向 量 做 Householder 变换 ， 
因此 只 要 得 到 构造 Householder 矩阵 所 需 的 向 量 v 即 可 ,然后 利用 式 (5.15) 计 算 。 


5.4.2 基本 QR 算法 


虽然 守法 与 收缩 技术 结合 后 能 够 求 出 矩阵 的 所 有 特征 值 , 但 每 算 一 个 特征 值 都 需要 和 迭 
.173 ， 


| 来得 ,通过 定义 易 知 和 了 Ai 的 特 
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代 很 多 步 ,效率 不 高 (甚至 可 能 迭代 不 收敛 ) ,而 且 随 着 计算 误差 的 积累 ,得 到 的 特征 值 会 越 
来 越 不 准确 。 下 面 介绍 的 QR 算法 是 计算 中 小 规模 矩阵 所 有 特征 值 的 稳定 ` 有 效 的 方法 ,也 
是 “20 世纪 十 大 算法 ?之 一 。 

QR 算法 的 基本 思路 是 :通过 一 系列 正 交 相似 变换 B= 二 QT7AQ ,逐渐 将 一 般 和 矩阵 A 化 为 
上 三 角 或 对 角 块 阶 数 很 小 的 分 块 上 三 角 和 矩阵 ,然后 求 出 所 有 特征 值 。 首 先 介绍 QR 算法 的 
理论 基础 。 

定义 5.10: 设 AER"*", 若 A 为 分 块 上 三 角 和 矩阵 , 且 对 角 块 为 1 阶 或 2 阶 和 矩阵 , 则 称 A 
为 拟 上 三 角 和 矩阵 (quasi-upper triangular matrix) ,也 称 为 实 Schur 型 (real Schur form)。 

定理 5.21( 实 Schur 分 解 ) : 设 4ER", 则 存在 正 交 和 矩阵 QER ,使 

OO 

其 中 SER 为 拟 上 三 角 和 矩阵 ,并 且 S 的 1 阶 对 角 块 就 是 A 的 实 特 征 值 ,2 阶 对 角 块 的 特征 
值 是 A 的 两 个 共 思 复 特征 值 。 等 式 A 二 QSQT 称 为 矩阵 A 的 实 Schur 分 解 ( 舒 尔 分 解 ) 。 

定理 5. 21 表明 了 正 交 相似 变换 可 能 达到 的 最 佳 效 果 , 实 际 的 QR 算法 则 通过 迭代 计算 
过 程 求 出 拟 上 三 角 和 矩阵 $, 其 基本 计算 过 程 如 下 。 

取 4。=4, 则 和 迭代 计算 的 第 & 步 为 (4 一 0,，1，2,，…) :首先 将 A 做 QR 分 解 


4 = OUR ， (5. 18) 
得 到 和 矩阵 CR ,将 它们 颠倒 次 序 相 乘 , 得 到 新 的 矩阵 
A = RiO4。 5193 


这 样 生 成 一 个 矩阵 序列 {4x} 。 由 式 (5. 18)、 式 (5.19) 推 出 
At 一 OA 。 

因此 ,序列 {A4} 中 所 有 和 矩阵 都 是 正 交 相似 的 。 下 面 的 定理 说 明了 QR 算法 的 收敛 性 。 

定理 5. 22; 设 AER"" ,如果 同 时 满足 下 面 两 个 条 件 : 

(1) 4 为 非 和 亏损 矩 阵 ( 有 完备 的 特征 向 量 集合 ) 。 

(2) A 的 等 模特 征 值 只 有 实 重 特征 值 ,或 多 重复 的 共 轿 特征 值 两 种 情况 (除非 是 复 共 思 
特征 值 对 ,和 否则 值 不 同 的 特征 值 其 模 也 不 相等 ) 。 

那么 ,QR 算法 [ 式 (5. 18) 、 式 (5.19)] 产 生 的 序列 {A)"“ 基 本 收敛 ”于 拟 上 三 角 和 矩阵 。 这 
里 ,“ 基 本 收敛 "的 含义 是 :A 对 角 线 或 2 阶 对 角 块 的 下 方 元 素 收敛 到 0, 而 对 角 线 或 对 角 块 
元 素 有 极限 。 

事实 上 ,如 果 A 的 特征 值 为 绝对 值 各 不 相同 的 实数 , 则 QR 算法 产生 的 序列 (A,)“ 基 本 
收敛 "于 上 三 角 和 矩阵 ,对 角 线 元 素 即 为 4 的 特征 值 。 容 易 证 明 , 正 交 相 似 变换 是 保持 矩阵 的 
对 称 性 的 ,因此 若 4 为 满足 定理 5. 22 条 件 的 实 对 称 矩 阵 ( 自 然 满 足 条 件 (1)) , 则 QR 算法 产 
生 的 序列 {4Ax} 收 敛 到 对 角 和 矩阵 。 

定理 5. 21 .定理 5. 22 的 证 明 超出 了 本 书 的 讲解 范围 。 下 面 给 出 基本 的 QR 算法 。 


算法 5.4: 计算 矩阵 特征 值 的 QR 算法 
输入 : A; 输出 :Xi ,Xs ，… ,A,. 
While 4 不 是 拟 上 三 角 阵 do 

计算 4 的 QR 分解, 得 到 和 矩阵 Q 和 R 
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End 
根据 4 的 对 角 线 元 素 或 2 阶 对 角 块 求 特征 值 ai: ,hz ,… ,2 


例 5.13(QR 算法 ) :为 说 明 如 何 使 用 QR 算法 求 矩 阵 特 征 值 , 对 实 对 称 和 矩阵 


2.9766 0.3945 0.4198 1.1159 
A |03945 2.7328 一 0.3097 0.1129 
0.4198 一 0.3097 2.5675 0.6079 
1.1159 0.1129 0.6079 1.7231 
进行 QR 迭代 ,和 矩阵 4 的 特征 值 为 1: 王 4, 王 3 一 2 一 1。 计 算 其 QR 分 解 并 交换 顺序 
相 乘 得 
3.7703 0.1745 0.5126 一 0.3934 
| 0.1745 2.7675 一 0.3872 0.0539 
MT| 0.5126 —0.3872 2.4019 —0.1241 
一 0.3934 0.0539 一 0.1241 1.0603 
再 做 几 次 迭代 ,依次 得 到 
3.9436 0.0143 0.3046 0.1038 
|0.0143 2.8737 一 0.3362 一 0.0285 
乍 一 |o3o46 —0.3362 2.1785 0.0083 
0.1038 一 0.0285 0.0083 1.0042 
3.9832 一 0.0356 0.1611 一 0.0262 
办 2.9421 一 0.2432 和 
0.1611 一 0.2432 2.0743 ”0.0047 
一 0.0262 0.0098 0.0047 ”1.0003 
3.9941 一 0.0430 0.0823 0.0066 
EE 2.9748 一 0.1660 | 
0.0823 一 0.1660 2.0311 一 0.0037 
0.0066 一 0.0032 一 0.0037 1.0000 
3.9976 一 0.0378 0.0415 一 0.0016 
本 到 2.9892 一 0.1113 
0.0415 一 0.1113 2.0132 0.0021 
一 0.0016 0.0010 0.0021 1.0000 
3.9988 一 0.0302 0.0209 ”0.0004 
一 0.0302 2.9954 一 0.0742 一 0.0003 
0.0209 一 0.0742 2.0006 0.0011 
一 0.004 0.0003 一 0.0011 1.0000 


可 以 看 出 ,大 多 数 非 对 角 元 素 的 值 都 已 很 小 ,而 对 角 元 素 已 非常 接近 4 的 特征 值 。 
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5.4.3 实用 QR 算法 的 有 关 技 术 


为 了 进一步 提高 QR 算法 的 计算 效率 和 适用 范围 ,还 需 考 虑 以 下 3 个 问题 。 

(1) 如 何 减 小 每 步 迭 代 的 计算 量 ( 尤 其 当 4 为 稠密 矩阵 时 )? 

(2) 如 何 提高 序列 {A} 的 收敛 速度 ? 

(3) 对 不 满足 定理 5. 22 特征 值 分 布 要 求 的 矩阵 ,能 和 否 保证 算法 “收敛 ”? 

下 面 介绍 两 个 与 QR 算法 结合 使 用 的 实用 技术 。 

1. 将 矩阵 化 简 为 上 Hessenberg 矩阵 

基本 思路 是 : 先 通 过 Householder 变换 将 一 般 的 矩阵 4 正 交 相似 变换 为 上 
Hessenberg 矩阵 ,然后 用 QR 算法 求 上 Hessenberg 和 矩阵 的 特征 值 , 便 得 到 原 和 矩阵 的 特 
征 值 。 

定义 $.11: 对 于 矩阵 4=(as )sxv, 若 &>) 十 1 时 ,三 0, 则 称 和 矩阵 4 为 上 Hessenberg 
和 矩 阵 ( 上 黑 森 伯 格 矩阵 ) 。 

上 Hessenberg 矩阵 与 上 三 角 和 矩阵 的 区 别 在 于 ,其 紧邻 主 对 角 线 下 方 的 副 对 角 线 上 的 元 
素 不 全 为 0。 图 5-9 显示 了 一 个 4 阶 上 Hessenberg 矩阵 的 威 尔 金森 图 。 

由 于 上 Hessenberg 矩阵 的 非 0 元 分 布 特点 ,对 它 进行 


QR 分 解 时 应 使 用 Givens 旋转 变换 。 可 以 证 明 , 对 上 0 

Hessenberg 矩阵 A 执行 QR 算法 的 一 步 迭 代 , 得 到 的 Ac x x x 

仍 为 上 Hessenberg 和 矩阵。 因此 ,QR 算法 每 步 迭 代 的 计算 汉 ” 恢 

复杂 度 将 由 OG ) 降 为 O(n?),n 为 矩阵 的 阶 数 。 图 5-9 一 个 上 Hessenberg 矩阵 
下 面 看 如 何 使 用 Householder 变换 将 一 般 矩 阵 化 为 上 的 威 尔 金森 图 

Hessenberg 矩阵 (此 方法 也 称 为 "Householder 方法 ”)。 具 

体 步骤 如 下 。 


a ri 
c A 
nn 一 1 阶 初等 反射 矩阵 王将 cl 变 为 Xe?”，”, 这 里 上 标 (n 一 1) 标 记 ef” ”为 n 一 1 维 向 量 。 构 


第 CD) 步 ,将 矩阵 和 看 成 2X2 分 类 阵 .4 一 | | 其中 wn 为 "一 1 维 向 量 ,可 用 


造 阶 初等 反 册 手提, 为 2X2 分 基隆 ,本 ,一 | 和 | 


a ri 
HA = . 
ner™™” HiAS 
Q11 7 了 | 
per A 
令 A 二 HAH,, 它 的 第 一 列 已 符合 上 Hessenberg 矩阵 的 要 求 : 


(2) (2) (2) 
Q1 dl2 : Q13 bs 


HAH' -| 


本: 《2) 
Nh a : Q23 “Qin 


i (2) 1 2) (2) 
A 二 入 Ud32 : Q33 ”adsn 
(2) 9) (2) 

0 ar2 Tans dnn 
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AP A 
A 久 4 多 
多 的 两 列 向 量 中 只 有 第 二 列 不 是 零 向 量 ,可 通过 一 个 一 2 阶 初等 反射 阵 本 将 其 变 为 


第 (2) 步 ,将 矩阵 A 中 看 成 2X2 分 块 矩阵 ,4A@ -| | A 铭 为 2X2 矩阵 ， 


I OF 
yzef?””, 由 此 构造 出 Householder 和 矩阵 m= ak 
2 


(2) , (3) (3) 
du Q12 ; Q13 Te 


Ca). (3) 
1 02 ;03 din 


(3) (3) 


H,A*? H, = A 4 您 五? 加 0 yz :al al 
. A Ei (2) i; ‘oH’ = : 
2Azl 2422 再 。 0 0 

0 0 i 3 


令 A 二 HA H;, 则 它 的 前 两 列 已 符合 上 Hessenberg 矩阵 的 要 求 。 依 此 类 推 , 共 经 
过 ?7 一 2 步 正 交 相 似 变换 ,可 得 到 上 Hessenberg 矩阵 A"? 。 应 注意 的 是 , 若 原始 矩阵 4 为 
实 对 称 和 矩阵 , 则 经 过 上 述 Householder 方法 的 结果 是 对 称 的 三 对 角 符 阵 。 

对 于 上 Hessenberg 矩阵 或 对 称 三 对 角 和 矩阵 ,执行 QR 迭代 算法 时 并 不 需要 算出 QR 分 
解 中 的 矩阵 Q, 而 应 通过 一 系列 Givens 旋转 变换 得 到 下 一 步 迭 代 和 矩 阵 。 假设 将 上 
Hessenberg 矩阵 A 变换 为 上 三 角 和 矩阵 的 过 程 为 ( 设 G1 ,Gs,…,G,_1 为 Givens 旋转 和 矩阵) 

GCC 一 R > Q:= (GG,G1)T, 
那么 ， 
A 一 RiO = Gi"*GsGiAr G1"G2G1)T 
一 C i CGI4AGIGT…GI， 
也 就 是 说 ,从 左边 和 右边 对 4x 做 第 一 系列 Givens 旋转 变换 ,得 到 下 一 步 迭 代 和 矩阵 At+i 。 因 
此 ,实际 计算 时 只 需 记 录用 到 的 Givens 旋转 变换 的 参数 。 

将 矩阵 化 简 为 上 Hessenberg 矩阵 具有 如 下 两 点 好 处 。 

(1) 大 大 减少 QR 算法 每 步 迭 代 的 计算 量 。 若 A 为 对 称 矩 阵 , 则 化 简 后 的 结果 为 三 对 
角 和 矩阵 ,后 续 QR 迭代 的 计算 量 更 节省 。 

(2) 由 于 只 需 使 少量 的 非 零 元 收敛 到 0,QR 迭代 所 需 的 迭代 步 数 也 将 减 小 。 

2. 带 原 点 位 移 的 QR 算法 


可 将 原点 位 移 技术 与 QR 算法 结合 ,通过 原点 位 移 改 变 做 QR 分 解 的 矩阵 , 它 一 方面 能 
提高 迭代 收敛 速度 , 另 一 方面 也 使 QR 算法 对 更 一 般 的 矩阵 收敛 。 
原点 位 移 技 术 分 为 "单位 移 " 和 "”* 双 位 移 ” 两 种 ,分 别 适合 于 实 对 称 和 矩阵 与 一 般 的 非 对 称 


抢 阵 。 下 面 简 要 介绍 面向 实 对 称 和 矩阵 的 单位 移 技术 。 
设 wxER ,一 1,2,… 为 第 & 步 迭代 的 位 移 因 子 , 则 带 位 移 的 QR 算法 迭代 计算 公式 为 
CR 三 4 一 skf (做 QR 分 解 ) 
A 一 RiO + sl 
由 于 Ac 一 RiC 十 ssT 二 Qi (A4 一 $1)Qi 十 ss1 二 QiA1Q4, 因 此 得 到 的 矩阵 序列 {A } 仍 是 
两 两 正 交 相似 的 。 此 时 考虑 的 抢 阵 A 是 经 过 Householder 方法 约 化 得 到 的 三 对 角 和 矩阵 , 实 
践 中 发 现 , 和 矩阵 元 素 ci 一 0 的 速度 最 快 ,因此 4,,, 最 先 收 敛 到 特征 值 。 类 似 于 反 短 法 中 位 
Ye 


(k= 1,2,..…) 。 (5.20) 
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移 值 的 选取 ,一 种 简单 的 策略 是 取 % 一 Ax(Cz:z): 即 4x 的 第 n 行 、 第 n 列 元 素 。 采 


用 这 种 技 


术 将 加 快 矩 阵 元 素 cs-: 的 收敛 ,一 旦 它 足 够 接近 0, 和 迭代 矩阵 就 变 为 分 块 对 角 和 矩阵 ,只 需 对 


删除 了 第 行 .第 n 列 而 得 到 的 子 和 矩阵 求 所 有 特征 值 。 


例 5.14( 简 单 原点 位 移 策 略 ) :使 用 简单 原点 位 移 策 略 重新 计算 例 5. 13。 采 用 式 (5. 20) 


进行 迭代 ,并 且 取 $4 二 Ai(n,n), 则 得 到 和 矩阵 序列 的 前 几 项 为 


Fr 3.8816 一 0.0179 0.2355 0.5065]7 
_|—0.0179 2.9528 一 0.2134 一 0.1602 
| 0.2355 —0.2134 2.0404 一 0.0950 
| 0.5065 一 0.1602 一 0.0950 1.1252j 
F 3.9945 一 0.0606 0.0499 ”0.0233] 
一 0.0606 2.9964 一 0.0882 一 0.0103 
年 一 | oo499 00882 2.0081 一 0.0252 
| 0.0233 一 0.0103 一 0.0252 1.0009] 
『 3.9980 一 0.0426 0.0165 0.0000] 
一 0.0426 3.0000 一 0.0433 一 0.0000 
| ool165 —0.0433 2.0020 —0.0000 
| 0.0000 一 0.0000 一 0.0000 ”1.0000J 
Np 中 的 结果 进行 对 比 , 采 用 原点 位 移 技术 后 ,只 迭代 三 步 ,最 后 一 个 对 角 元 就 收 


上 了 特征 人 接 下 来 只 需 考 虑 左上 角 部 分 的 3 阶 主子 阵 , 求 其 他 的 特征 值 。 
总 结 上 述 讨论 ,给 出 一 种 采用 简单 的 单位 移 策略 的 实用 QR 算法 。 


算法 5.5 :一 种 计算 实 对 称 和 矩阵 特征 值 的 实用 QR 算法 
输入 : A,n; 输出 : A1 ,Xs ，… A,. 
利用 Householder 变换 将 矩阵 4 化 简 为 三 对 角 和 矩阵 ; 


k :=n; {对 A 的 前 & 行 k 列 执行 QR 算法 } 
While & 二 1 并 且 ac 天 0 do 
$am; 


For j 二 1, 2,…,k {计算 A(l1:k,1:k) 一 并 ,A(1:k,1:&) 为 4 的 & 阶 主子 矩阵 } 


Qj ay ss 
End 
用 Givens 旋转 将 4(1:&,1:A) 化 为 上 三 角 和 矩阵 ,得 到 旋转 矩阵 G; (j 二 1,… 
的 参数 c ,si 
For j=1, 2,:.,k—1 {计算 RO 二 RGT…GI1} 
A(l:k,1:k) :=A(l:k,1:k)GY; { 执 行列 的 Givens 旋转 } 
End 
For 1 2 {计算 A(1:k,1:&) 十 TI} 
ay :ay tss 
End 


If wa 一 0，then 


。 178 。 


sk 
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2 一 上 一 1y 
End 
End 
A 的 对 角 元 就 是 待 求 的 特征 值 4， Ma， A 


原点 位 移 技术 还 能 改善 QR 算法 的 适用 范围 。 对 于 实 对 称 和 矩阵 , Wilkinson 给 出 了 一 
种 单位 移 策 略 ,并 证 明了 使 用 它 后 QR 迭代 过 程 一 定 能 收敛 到 对 角 和 矩阵 。 对 于 实 非 对 称 矩 
阵 , 可 能 存在 一 对 复 共 轿 特 征 值 ,因此 要 使 用 双 位 移 技 术 ,一般 总 能 使 QR 迭代 算法 收敛 到 
拟 上 三 角 和 矩阵 。 关 于 QR 迭代 中 使 用 的 位 移 技 术 的 更 多 介绍 ,参见 文献 [9]、[15]、[16]、 
[35]。 

将 QR 算法 计算 实 和 矩阵 特征 值 的 过 程 总 结 为 图 5-10, 其 中 包括 实 和 矩阵 4 为 非 对 称 和 矩阵 
和 对 称 和 矩阵 两 种 情况 。 图 5-10 显示 ,整个 计算 过 程 分 为 两 个 阶段 :第 一 阶段 使 用 
Householder 方法 将 矩阵 变换 为 上 Hessenberg 和 矩阵 (或 三 对 角 和 矩阵 ); 第 二 阶段 通过 QR 和 迭 
代 逐 渐 使 矩阵 变 为 拟 上 三 角 和 矩阵 (或 对 角 和 矩阵 ) 。 


类 承 汪 站 多 多 省 这 光 这 区区 六 汉 议 x 

沉 六 汇流 洲 LS 让 光 久 并 小 这 汉 沪 多 x 

XxXXxXXxXxl=>| xxxx|> Xr XXXxxxl*| xxx |> X 

淮 避 洪流 代 时 这 由 帝 式 X 

二 这 这 x X 区 区 站 广 光 演 放 
(a) 非 对称 和 矩阵 (b) 对 称 和 矩阵 


图 5-10 用 QR 算法 计算 实 矩 阵 特征 值 的 过 程 示意 图 (以 5X5 矩阵 为 例 ) 


一 旦 算出 了 和 矩阵 的 特征 值 ,可 使 用 反 短 法 求 出 对 应 的 特征 向 量 , 也 可 以 在 QR 迭代 计算 
过 程 中 记录 8 和 矩阵 ,将 它们 连 乘 起 来 就 得 到 所 有 的 特征 向 量 。 有 关 的 详细 讨论 参见 
文献 [15]、[16]、[21]。 


5.5 奇异 值 分 解 简介 


和 矩阵 的 奇异 值 分 解 号 称 数值 计算 领域 的 “瑞士 军刀 ”, 用 途 非常 广泛 。 奇 异 值 分 解 的 相 
关 概 念 可 以 看 作 是 特征 值 相关 概念 在 一 般 矩 阵 上 的 推广 ,其 计算 方法 也 可 由 算 和 矩阵 特征 值 
的 方法 导出 。 本 节 将 介绍 有 关 的 重要 概念 和 定理 ,并 简略 介绍 计算 奇异 值 分 解 的 算法 。 


5.5.1 基本 概念 与 奇异 值 分 解 定理 


定义 $.12: 矩阵 4=()E ”", 若 非 负 实数 ec 和 相应 的 一 对 非 零 向 量 wE "*,vE€ ” 
满足 
Av=ou 
， 《5 2 
网 一 07 
则 称 c 为 4 的 奇异 值 (singular value) ,向 量 & 和 w 分别 为 矩阵 4 对 应 于 ve 的 左 奇 异 向 量 
(left singular vector) 和 右 奇 异 向 量 (right singular vector) 。 


对 这 个 定义 说 明 两 点 。 
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(1) 式 (5. 21) 的 第 二 个 方程 等 价 于 uA 二 oc v7, 其 中 行 向 量 吃 乘 在 矩阵 4 的 左边 。 这 
也 是 我 们 称 zx 为 左 奇异 向 量 的 原因 。 

(2) 将 任意 一 对 左 / 右 奇异 向 量 乘 以 一 个 相同 的 数 , 式 (5. 21) 仍 然 成 立 。 因 此 ,一 个 奇 
异 值 对 应 的 左 / 右 奇异 向 量 有 无 穷 多 对 ,与 特征 向 量 的 情形 类 似 , 它 们 各 自 形 成 线性 子 空间 。 
一 般 地 ,我们 总 是 考虑 (2 一 范 数 ) 单 位 长 度 的 奇异 向 量 , 即 lu|=|o|=1。 

下 面 的 奇异 值 分 解 定理 告诉 我 们 ,任意 实 和 矩阵 4E_ ”都 有 min {m,n}) 个 奇异 值 及 其 
对 应 的 左 / 右 奇异 向 量 对 , 且 这 些 左 奇异 向 量 相互 正 交 , 右 奇异 向 量 也 相互 正 交 。 

定理 5. 23( 奇 异 值 分 解 ) :任意 矩阵 4AE "一 定 可 以 分 解 为 

A = UV; (5. 22) 
其 中 UE 党"，VE "都 是 正 交 和 卸 阵 ,了 3E "为 对 角 和 矩阵 ,其 对 角 元 o4 宇 0, ==1, 2,…， 
min{m,， n},， 且 按 递减 顺序 排列 。 

【证 明 】 不 失 一 般 性 ,只 需要 对 m 宇 n 的 情况 进行 证 明 。 考 虑 矩阵 474, 它 是 一 个 n 阶 
实 对 称 和 矩阵 ,由 定理 3. 3 知 它 有 特征 值 分 解 : 

4I4 一 VAVT， 
其 中 ,YE “各 为 正 交 矩阵 ,因为 AI4 也 是 对 称 半 正定 的 ,对 角 和 矩阵 A 的 对 角 元 均 非 负 。 显 
然 , 可 以 调整 矩阵 站 各 列 的 顺序 ,使 得 A 的 对 角 元 按 数值 递减 的 顺序 排列 ,不 妨 设 前 -~ 个 对 
角 元 大 于 0, 而 其 他 为 0。 下 面 分 两 种 情况 讨论 。 
(1) r= 二 n, 即 A 为 非 奇 异 对 角 和 矩阵 。 
设 A= 开 ,其 中 马 为 ”>Xr 对 角 和 矩阵 , 且 其 对 角 元 为 m 过 之 …>or 二 0, 则 
ATA=VEBV' = BV'AAVE!'=I 
设 克 Xi 矩阵 
Ur (5. 23) 
则 UTUi 二 IT， 这 表明 U, 各 列 的 2- 范 数 为 1 且 相 互 正 交 ( 即 为 列 正 交 答 阵 , orthonormal 
matrix) 。 那 么 , 根据 Ul 各 列 可 以 再 扩充 出 x 一 n 个 单位 正 交 向 量 , 得 到 mm 阶 正 交 和 矩阵 呆 王 


[CU U;,]。 构造 mxXn 和 矩阵 =-[ 0|. 利用 式 (5. 23) 可 推出 : 


(ip A 
(2) rn, 即 A 为 奇异 对 角 和 矩阵 。 


2 


本 a-[* 
V 的 前 7 列 组 成 矩阵 Vi ,其 他 列 组 成 矩阵 V2。， 则 


Vi Vi 2 
sa tw wl = [ea wm 下 


号 
| VI ATAV;=0 
设 mXr 和 矩阵 U1 二 A Vi 1, 则 UIU 二 1, 这 表明 Ui 各 列 2- 范 数 为 1 且 相 互 正 交 , 可 以 再 扩 
充 m 一 r 个 单位 正 交 向 量 , 得 到 m 阶 正 交 和 矩阵 U== [UUs]。 从 上 式 还 可 以 看 出 ,A Vs 的 
。 180 。 


起 其 中 也 为 >Xr 对 角 失 阵 , 且 其 对 角 元 为 6 宇 , 宇 … 之 6, 二 0。 设 矩阵 


因此 ， 
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各 列 的 2- 范 数 都 等 于 0, 因此 AV; 为 零 和 矩阵。 计算 UTAV, 得 
UTAV: pe et 水 $= EE | 
UIAV: UIAV:| lvIUE, ol lo of’ 


ZE, O 
今 mXn 对 角 和 矩阵 z=-|。 ol 则 有 A=UZVT, 定理 得 证 。 国 


陡 UT 
UrAV= | IV V1= 
2 


对 这 个 定理 说 明 几 点 。 
(1) 如 果 有 了 和 矩阵 A 的 奇异 值 分 解 UZEVTI, 则 4I=YV BTUT, 也 就 得 到 了 AT 的 奇异 值 分 
解 ,只 不 过 和 矩阵 UV 的 位 置 对 调 了 。 这 也 就 是 为 什么 我 们 在 证 明 时 可 以 仅 考虑 4 的 行 数 不 
少 于 列 数 的 情况 。 
(2) 根据 奇异 值 分 解 , 有 
AV=U5, 即 Avi =ou, k=1,2,.,n (5. 24) 
同时 ， 
ATU=VF, BD ATiu=o Vv k=1,25%n (5. 25) 
这 表明 由 奇异 值 分 解 中 的 对 角 元 cx 为 4 的 奇异 值 ,它们 一 共有 min{m,?) 个 ,而 矩阵 UU、 
V 的 列 向 量 则 为 相应 的 左 奇异 向 量 、 右 奇异 向 量 。 
(3) 由 奇异 值 分 解 定理 的 证 明 过 程 知 ,奇异 值 分 解 中 的 对 称 和 矩阵 马 是 唯一 确定 的 。 
(4) 对 于 实 对 称 和 矩阵 ,比较 其 特征 值 分 解 (定理 3. 3) 和 奇异 值 分 解 ,可 以 发 现 两 者 形式 
非常 相像 。 特 别 地 , 若 4 是 实 对 称 半 正定 矩阵 ,其 特征 值 分 解 就 是 奇异 值 分 解 。 
(5) 从 上 述 证 明 可 以 看 出 , 非 零 奇异 值 的 数目 x 就 是 矩阵 4 的 秩 。 根 据 式 (5. 24) 和 式 
(5.25) 以 及 6 二 0,，(k 二 rf 十 1 ,7 十 2,…, n), 还 可 以 看 出 矩阵 UV 的 列 向 量 实际 上 是 4 个 重 
要 的 线性 子 空间 的 单位 正 交 基 ,如 图 5-11 所 示人 9 。 


一 而 的 核 空间 
(or7 维 ) 


图 5-11 和 矩阵 AER””" 的 左 / 右 奇异 向 量 形成 4 个 重要 线性 子 空 间 的 单位 正 交 基 


如 果 和 矩阵 4 的 行 数 和 列 数 不 相 等 , 则 它 还 有 “精简 ”的 奇异 值 分 解 形式 。 以 行 数 mr 大 于 
列 数 的 情况 为 例 ， 
;Nn, 
0 
其 中 采用 MATLAB 软件 中 的 写法 表示 和 矩阵 的 部 分 行 或 列 。 在 结果 中 ,U( : ,1 : 7) 为 矩阵 
DU 的 前 n 列 , 允 (1 : n,: ) 为 矩阵 呈 的 前 4 行 ,这 样 就 得 到 了 A 的 精简 奇异 值 分 解 (economy- 
size SVD) 。 


一 本 二 5 8 Zl 3 Tm : :VT 
A=UZV = [UG:,1:n) UC2 十 1:72)] V U(:,1:n)Z(l:n,:)V', 
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5.5.2 ”有关 性 质 与 计算 方法 


和 矩阵 的 奇异 值 分 解 与 特征 值 分 解 不 同 , 它 相 当 于 使 用 两 组 单位 正 交 基 实 现 了 矩阵 A 的 
对 角 化 ,而 且 这 种 分 解 是 一 定 存在 的 。 同 时 ,两 者 也 有 一 定 的 联系 ,如 奇异 值 就 是 矩阵 447 
( 当 m<n 时) 或 4"A( 当 mn 时) 的 特征 值 的 算术 平方 根 。 由 于 奇异 值 分 解 普遍 存在 , 它 有 
很 重要 的 理论 意义 和 实用 价值 。 

基于 奇异 值 分 解 ,可 以 很 容易 推导 出 矩阵 2- 范 数 的 计算 公式 。 假 设 A=UZV”, 则 
|Ax|: IUZ vx|. IZ vxl: |zy|; 


[xl ee Txl: 0 vixl: 0 Tl 


|Al: = max os, 
xA0 


(5. 26) 
推导 中 使 用 了 正 交 和 矩 阵 的 性 质 , 最 后 一 个 等 号 可 在 y= 二 [yy 0 … 0] "时 取得 。 这 个 结论 
与 定理 3. 10 的 结论 一 致 ,但 适合 于 更 一 般 的 矩阵 。 

和 矩阵 的 弗 罗 贝 尼 乌 斯 范 数 (Frobenius 范 数 ) 也 与 奇异 值 有 关 。 
定义 $.13: 矩阵 4 一 (an )€ ”", 其 Frobenius 范 数 为 


而 区 
|4le = | 2 > o。 
k=1 j=1 


容易 证 明 Frobenius 范 数 满足 "线性 空间 上 一 般 范 数 应 满足 的 3 个 条 件 ( 见 定义 3. 6) , 同 
时 它 也 满足 定义 矩阵 范 数 的 条 件 ( 见 定义 3.9) 和 相 容 性 条 件 ( 式 (3.4))。 根 据 矩 阵 的 迹 的 
定义 和 定理 5.1, 有 


加 min {mn) 
IAls = Vtir(AT™A) = | (474) = | > 4 (5. 27) 
k=1 k=1 
其 中 oo 表示 矩阵 A 的 第 k 个 奇异 值 。 将 此 公式 与 式 (5.26) 比 较 , 容 易 看 出 |4|* 之 |4|:。 
当 A 为 非 奇异 方 阵 时 ,4 一 的 奇异 值 分 解 很 容易 由 4 的 奇异 值 分 解 得 到 。 因 此 ,根据 式 
(5.26)， 


| 二 上 二 
14 | > cond (A): Et 


这 说 明 , 奇异 值 的 最 大 比值 等 于 矩阵 4 的 2- 范 数 条 件数 , 它 反映 了 和 矩阵 接近 奇异 阵 的 
程度 。 这 也 是 奇异 值 这 个 名 称 的 由 来 。 

基于 奇异 值 分 解 还 可 以 将 矩阵 的 逆 推 广 到 一 般 和 矩阵 的 伪 北 (pseudo inverse) 。 

定义 5.14: 矩阵 4=(a)E ”", 其 伪 逆 41 为 nXm 和 矩阵 ,具体 定义 如 下 : 

(1) 若 A 为 对 角 和 矩阵 , 则 A1 也 是 对 角 和 矩阵 ,并 且 它 的 对 角 元 为 A 中 相应 对 角 元 的 倒数 
(这 里 假定 0 的 倒数 还 是 0) 。 

(2) 若 4 为 一 般 矩 阵 , 它 的 奇异 值 分 解 为 4=UZYV7 , 则 

4 一 2UT (5. 28) 

矩阵 的 伪 逆 满足 (A41 )1+ = 二 A4，(A+ )" 二 (47)! 等 性 质 ,但 不 一 定 满足 A+ A 二 I 和 
A A1+ 二 1。 更 多 伪 逆 有 关 的 知识 ,请 看 参考 文献 [1]、[L21 等 。 

和 矩阵 的 奇异 值 分 解除 了 表示 为 式 (5. 22) 外 ,还 有 一 种 向 量 外 积 和 的 形式 。 用 wi ,ws ,…， 
un 表示 U 和 矩阵 的 各 列 ,v1 ,v,,…,v, 表 示 V 和 矩阵 的 各 列 ,不妨 设 mm 三 n, 则 
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vf 


: |= OIL vhs 
其 中 的 求 和 的 每 一 项 owui 由 都 是 一 个 秩 为 1 的 矩阵 。 而 且 , 易 知 
| Up Ok |， lo ux wR |s 三 Oko 

由 于 奇异 值 的 排列 顺序 , 越 大 的 & 值 对 应 的 奇异 值 越 小 。 因 此 ,对 这 个 求 和 截断 到 前 + 
项 ,可 能 是 对 矩阵 4 的 比较 好 的 近似 。 事 实 上 ,这样 得 到 的 矩阵 在 所 有 秩 为 ”的 矩阵 中 确实 
是 最 接近 A 的 ,具体 结果 见 下 面 的 定理 1] 。 

定理 5. 24(Eckart-Young 定理 ) :任意 矩阵 AE ”*", 它 的 奇异 值 分 解 为 4=UZYT, 用 
U, 和 V, 分 别 表示 UU 的 前 7 列 和 VV 的 前 -~ 列 形成 的 矩阵, 台 为 瑟 的 7 阶 顺 序 主子 矩阵 则 下 
述 秩 -r 的 最 优 近似 问题 ， 

min |A—Zl; min |A—Zls 
EA 和 | 了 


于 
a 


oo 
A=UZEVT= [uw … | 钢 
On 


vO, 


s.t.rank(Z) 一 > s.t.rank(Z)=r 


的 解 均 为 
Zo = A, =U, E, Vr = Se vi 《5529) 
k=1 
这 个 4, 和 矩阵 称 为 4 的 广 截断 奇异 值 分 解 。 并 且 它 与 4 的 矩阵 差 满足 : 


min Tm,n} 


14 一 4 = oa， 4 一 4 = /| 2 4. 


定理 5. 24 的 证 明 留 给 感 兴趣 的 同学 思考 。 这 个 定理 给 出 了 利用 奇异 值 分 解 进行 数据 
近似 数据 压缩 的 理论 依据 ,因此 奇异 值 分 解 被 广泛 用 于 主 成 分 分 析 .数据 降 维 等 场合 。 

计算 奇异 值 分 解 的 算法 与 矩阵 特征 值 分 解 QR 迭代 法 关系 密切 ,理论 上 讲 , 对 474 做 
QR 迭代 法 即 可 求 出 矩阵 V 和 马 , 再 由 式 (5. 23) 及 求 正 交 基 的 方法 可 得 到 和 矩阵 避 。 在 实际 
的 算法 设计 上 ,为 了 减少 计算 量 ,一 般 先 在 A 的 左右 两 边 各 乘 以 一 个 正 交 和 抢 阵 (类 似 5.4.3 
节 的 Householder 方法 ) ,将 它 化 为 双 对 角 和 矩阵 ,然后 考虑 双 对 角 和 矩阵 的 转 置 乘 以 自身 (对 称 
三 对 角 和 矩阵 ) 的 特征 值 计算 问题 。 更 多 的 算法 细节 ,请 感 兴趣 的 读者 参考 文献 [21]。 总 体 
上 ,计算 奇异 值 分 解 的 计算 复杂 度 为 OC(mn* min {m,n)), 算 法 的 数值 稳定 性 很 好 ,但 计算 
量 一 般 比 矩阵 的 QR 分 解 大 好 几 信 。 

例 5. 15( 计 算 矩 阵 的 特征 值 分 解 与 奇异 值 分 解 ) : 设 和 矩阵 
-1 一 .500 一 号 4 
537 180 546 
= = = 25 
用 MATLAB 软件 计算 它 的 特征 值 分 解 和 奇异 值 分 解 。 

MATLAB 中 ,计算 特征 值 分 解 的 命令 是 eig, 计算 奇异 值 分 解 的 命令 是 svd。 计 算 特 
征 值 分 解 一 般 使 用 的 命令 格式 为 :[V, D]= eig(A) ,返回 值 D 为 特征 值 组 成 的 对 角 和 矩阵 、V 
为 特征 向 量 组 成 的 矩阵 ,它们 满足 Ax*V=VxD。 如 果 A 是 非 亏损 矩阵 , 则 V 为 非 奇异 矩 
阵 ,否则 V 为 奇异 矩阵 。 对 题目 中 的 矩阵 ,执行 的 结果 如 下 。 
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计算 奇异 值 分 解 一般 使 用 命令 LU, S, Vj 二 svd(A) ,返回 值 U、S、V 分 别 为 矩阵 U、5 
和 V。 执 行 结果 如 下 。 


对 比 两 个 结果 看 出 ,算出 的 特征 值 与 奇异 值 完全 不 一 样 ,而 且 奇 异 值 按 递减 顺序 排列 ， 
第 2.3 个 奇异 值 比 第 1 个 奇异 值 小 很 多 。 


5.6 ”有关 数值 软件 


传统 的 特征 值 计 算 软 件 主要 处 理 稠 密 和 矩阵 。 表 5-4 列 出 了 一 些 这 样 的 软件 和 程序 。 
EISPACK 是 20 世纪 70 年 代 开发 的 计算 矩阵 特征 值 的 著名 软件 (由 FORTRAN 语言 编 
写 ) ,在 Netlib 上 能 够 找到 。 后 续 的 LAPACK 软件 包 也 提供 计算 矩阵 特征 值 的 标准 程序 ， 
而 其 他 一 些 软 件 包 的 程序 大 多 数 以 它们 为 基础 。 这 些 标准 程序 都 基于 QR 算法 以 及 矩阵 化 
简 和 位 移 技术 ,程序 比较 复杂 。 一 般 都 调用 两 个 单独 的 程序 ,一 个 先 将 矩阵 约 化 为 上 
Hessenberg 矩阵 或 三 对 角 和 矩阵 , 另 一 个 用 QR 算法 计算 特征 值 ,是 否 计算 特征 向 量 决定 了 
是 否 需 要 形成 正 交 变换 矩阵 。 

表 5-4 列 出 的 是 最 一 般 的 特征 值 计算 程 序 , 也 只 适合 于 实 矩 阵 。 这 些 软件 包 中 还 有 其 
他 的 附加 程序 ,包括 对 复 和 矩阵 的 处 理 , 或 者 只 计算 特征 值 ,而 不 计算 特征 向 量 ,只 计算 几 个 特 
征 值 等 。 对 于 带 状 矩阵 ,或 者 广义 特征 值 问题 , 还 有 相应 的 程序 。 特 征 值 计算 程序 的 输入 一 
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表 5-4 稠密 矩阵 特征 值 计算 和 QR 分 解 的 标准 程序 


特征 值 / 特 征 向 量 计算 
软件 /程序 包 QR 分 解 
一 般 算 阵 对 称 和 矩阵 
EISPACK rg rs 
HSL eb06 ea06 
LAPACK sgeev ssyev sgeqrf 
LINPACK sqrdc 
MATLAB eig eig qr 
NAG f02ebf f02faf f08aef 
NAPACK diag sdiag qr 
NR elmhes/hqr tred2/tqli qrdemp 
SLATEC rg rs sqrde 


般 是 存储 矩阵 的 二 维 数组 以 及 矩阵 大 小 的 信息 ,而 根据 特征 值 是 否 为 复数 ,输出 为 一 个 或 两 
个 一 维 数组 。 如 果 还 计算 特征 向 量 , 则 规格 化 的 特征 向 量 也 由 一 个 或 两 个 二 维 数 组 返回 。 

在 MATLAB 软件 中 ,计算 稠密 矩阵 特征 值 的 命令 是 eig, 常 用 的 命令 格式 有 两 种 :d= 
eig(A) 和 [V, Dj=eig(A)。 前 者 返回 所 有 特征 值 ; 后 者 得 到 和 矩阵 4 的 特征 值 和 完备 特征 向 
量 组 ,分 别 存储 为 对 角 和 矩阵 D 和 和 矩阵 V。 与 求解 线性 方程 组 的 “\" 算 法 一 样 ,eig 命令 也 会 先 
判断 矩阵 的 类 型 ,然后 采用 最 适合 的 算法 处 理 。 除 了 将 矩阵 约 化 为 上 Hessenberg 型 和 进行 
QR 迭代 外 , 它 可 能 还 会 对 矩阵 元 素 进行 比例 调整 ,以 保证 计算 的 数值 稳定 性 。 对 这 些 细节 
感 兴趣 的 读者 ,可 查看 MATLAB 的 在 线 帮 助 文档 。 另 外 ,MATLAB 中 的 命令 hess 可 将 矩 
阵 正 交 相 似 变换 为 上 Hessenberg 矩阵 ,而 命令 schur 计算 矩阵 的 Schur 标准 型 ,jordan 计 
算 矩 阵 的 约 当 标准 型 ,svd 计算 矩阵 的 奇异 值 分 解 。 

对 于 大 型 稀 玻 矩阵 的 特征 值 计 算 问 题 ,主要 算法 是 Lanczos 算法 (对 称 和 矩阵 ) 和 Arnoldi 
算法 ( 非 对 称 和 矩阵) ,它们 虽 也 属于 Krylov 子 空间 方法 ,但 超出 了 本 书 的 范围 。NAPACK 中 
的 lancz 程序 和 Netlib 中 的 laso 程序 实现 了 Lanczos 算法 ,而 Arnoldi 算法 在 ARPACK( 参 
见 文献 [17]) 和 Netlib 中 都 能 找到 , 它 是 MATLAB 中 eigs 命令 的 基础 。 在 MATLAB 中 ， 
命令 eigs 计算 稀 玖 和 矩阵 的 特征 值 和 特征 向 量 , 一 般 计算 最 大 的 前 & 个 特征 值 (默认 =6)， 
而 不 是 所 有 特征 值 。 对 于 这 类 问题 ,算法 会 考虑 稀 玻 和 矩阵 的 表示 结构 ,并 且 主 要 做 矩阵 与 向 
量 乘 法 ,从 而 提高 计算 效率 。 计 算 稀 玻 矩阵 奇异 值 分 解 的 命令 是 svds, 其 内 部 算法 基于 eigs 
命令 的 算法 ,可 以 计算 前 若干 个 奇异 值 以 及 它 对 应 的 左 / 右 奇异 向 量 。 

表 5-4 中 也 列 出 了 实现 矩阵 QR 分 解 的 软件 和 程序 。QR 分 解 的 一 个 主要 用 途 是 求解 
线性 最 小 二 乘 问题 ( 见 第 6 章 ) ,因此 很 多 软件 包 中 也 提供 了 求解 线性 最 小 二 乘 问题 的 程序 ， 
与 QR 分 解 配套 使 用 。 在 实际 的 软件 包 中 ,应 考虑 矩阵 4 列 不 满 秩 的 情况 ,此 时 的 QR 分 解 
还 要 采用 列 重 排 的 技术 ,并 返回 一 些 反映 矩阵 秩 的 信息 ,这 方面 的 内 容 超出 了 本 书 的 要 求 。 
在 MATLAB 中 ,命令 qr 也 会 根据 矩阵 的 类 型 采用 不 同 的 方法 进行 QR 分 解 。 对 稠密 拢 
阵 , 它 使 用 Householder 变换 技术 ;对 稀 玻 矩阵 , 则 可 采用 Givens 旋转 技术 。 
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评 述 


矩阵 特征 值 问题 与 线性 方程 组 求解 问题 一 样 ,都 是 数值 计算 中 的 经 典 问题 ,本 章 只 讨论 
最 基本 的 和 矩阵 特征 值 计算 和 相关 算法 。 早 在 1829 年 , 柯 西 (Cauchy) 在 一 篇 论文 中 就 讨论 
了 特征 向 量 的 概念 ,并 证 明了 实 对 称 矩 阵 不 同 特征 值 对 应 的 特征 向 量 是 正 交 的 。1855 年 ， 
凯 莱 (Cayley) 明 确 提出 了 特征 值 的 概念 ,但 特征 值 (eigenvalue) 这 个 名 字 直 到 20 世纪 中 期 
才 被 通用 。1846 年 , 雅 可 比 提出 了 著名 的 雅 可 比 算法 , 它 通过 一 种 旋转 变换 迭代 地 将 对 称 
矩阵 转换 为 对 角 和 矩阵 ,从 而 实现 了 特征 值 的 计算 。1909 年 ,每 尔 证 明 , 任 何 和 矩阵 都 相似 于 上 
三 角 和 矩阵 ( 即 复 Schur 分 解 ) ,但 它 的 重要 性 直到 50 年 后 QR 算法 的 成 功 才 被 人 们 所 认可 。 

雅 可 比 算法 是 处 理 对 称 和 矩阵 的 迭代 算法 ,收敛 速度 较 慢 ,但 在 某 些 情况 下 可 能 比 QR 算 
法 更 准确 。 宕 法 也 很 早 就 出 现 了 ,但 其 实际 使 用 是 从 20 世纪 早期 开始 的 。 反 宪法 在 1944 
年 由 Wielandt 提出 。QR 算法 是 在 1961 年 由 Francis 和 Kublanovskaya 两 个 人 独立 提出 
的 , 它 改进 了 早期 Rutishauser 的 LR 方法 。Wilkinson 对 QR 算法 做 了 首次 完整 的 实现 和 
重要 的 收敛 性 分 析 , 包 括 在 他 的 经 典 著作 中 : 

。 J. H.Wilkinson, The Algebraic Eigenvalue Problem, Clarendon Press, 1965. (中 

译本 由 石 钟 慈 等 译 , 科 学 出 版 社 ) 

较 新 的 一 种 求 特征 值 的 算法 是 分 治 (divide-and-conquer) 算 法 , 它 处 理 对 称 和 矩阵 , 壕 代 
收敛 速度 一 般 比 QR 算法 更 快 。 感 兴趣 的 读者 可 参考 : 

。 J.J. M.Cuppen, A divide and conquer method for the symmetric eigenproblem, 

Numerische Mathematik, Vol. 36, pp. 177-195, 1981. 

第 4 章 提 到 的 Krylov 子 空间 迭代 法 并 不 只 用 于 线性 方程 组 求解 ,还 用 于 和 矩阵 特征 值 的 
计算 。1931 年 ,苏联 数学 家 Krylov 利用 和 宪法 生成 的 序列 ( 称 为 Krylov 序列 ) 求 出 了 和 矩阵 的 
特征 多 项 式 。1950 年 ,Lanczos 算法 被 提出 ,用 于 求 对 称 和 矩阵 的 特征 值 ,1951 年 又 出 现 了 处 
理 非 对 称 和 矩阵 的 Arnoldi 算法 。 近 些 年 ,Krylov 子 空间 迭代 法 还 有 很 多 进展 ,成 为 求 大 型 
( 稀 玻 ) 矩 阵 特征 值 问题 的 主要 方法 。 要 了 解 更 多 的 情况 ,读者 可 参考 下 面 的 3 本 书 : 

。， G. H. Golub, C.F. van Loan. Matrix Computations. 3rd ed. Johns Hopkins 

University Press, 1996. ( 囊 亚 湘 , 译 ,和 矩阵 计算 ,科学 出 版 社 ,2001) 

。 Z.Bai, J. Demmel, J. Dongarra, A. Ruhe，H. van der Vorst, Templates for the 
Solution of Algebraic Eigenvalue Problems: A Practical Guide, SIAM 
Press, 2000. 

。 Y.Saad, Numerical Methods or Large Eigenvalue Problems, PWS Publishing 
Co. , 1996. http://ww-users. cs. umn. edu/~ saad/books. html. 

与 矩阵 特征 值 计算 有 关 的 内 容 非常 多 ,也 有 很 广泛 的 应 用 ,本 章 介绍 的 只 是 其 中 很 小 一 
部 分 。 关 于 广义 特征 问题 ,特征 值 问题 的 敏感 性 分 析 和 条 件数 以 及 算法 稳定 性 的 讨论 ,这 里 
都 没有 涉及 ;本 章 没有 讨论 复数 和 矩阵 的 处 理 , 但 主要 的 算法 基本 上 都 相同 ,只 需 将 正 交 和 矩阵 
的 概念 换 成 西 阵 (unitary matrix) 。 关 于 矩阵 奇异 值 分 解 ,本 章 只 做 了 简略 的 介绍 , 它 的 应 
用 以 及 更 多 的 矩阵 计算 在 数据 挖掘 领域 的 应 用 可 参见 文献 L42]。 近 年 来 ,由 于 应 用 的 驱动 ， 
大 和 矩阵, 张 量 的 分 解 算法 受到 关注 ,随机 化 算法 在 牺牲 少量 准确 度 的 同时 能 比 传统 算法 快 一 
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个 数量 级 以 上 ,在 现实 的 大 数据 分 析 问 题 中 有 一 定 的 应 用 价值 cs 多 。 

最 后 ,对 QR 分 解 做 一 些 评述 。QR 分 解 的 思想 最 早 由 Schmidt 于 1907 年 提出 ,其 矩阵 
形式 和 实用 的 算法 是 由 Householder 总 结 的 ,他 于 1958 年 发 表 了 计算 QR 分 解 的 
Householder 变换 方法 。 同 年 ,Givens 也 提出 了 实现 QR 分 解 的 Givens 旋转 变换 方法 。 本 
章 介 绍 了 实现 矩阵 QR 分 解 的 算法 ,并 讨论 了 对 n 阶 方 阵 进行 QR 分 解 的 一 个 应 用 一 一 求 
其 特征 值 的 几何 重 数 与 代数 QR 算法 。 第 6 章 还 将 介绍 QR 分 解 在 求解 线性 最 小 二 乘 问题 
中 的 应 用 。 另 外 ,本 章 给 出 的 是 QR 分 解 的 基本 形式 , 它 还 有 一 种 矩阵 R 为 方 阵 的 “精简 ” 
形式 。 

【本 章 知 识 点 】 符 阵 特征 值 的 主要 性 质 ;特征 值 的 几何 重 数 与 代数 重 数 ; 非 亏 损 矩 阵 
(亏损 矩阵 ); 圆 盘 定 理 ; 特 征 值 分 布 情况 的 估计 ; 主 特征 值 ( 主 特征 向 量 ) ;和 宪法 ;规格 化 向 量 ; 
实用 的 宕 法 :原点 位 移 技术 ; 瑞 利 商 技术 ; Householder 矩阵 ;用 Householder 变换 消 元 ; 
Givens 旋转 变换 ;矩阵 的 QR 分 解 ; 矩 阵 正 交 三 角 化 的 算法 ; 求 特征 值 的 收缩 技术 ; 拟 上 三 
角 和 矩阵 ; 实 Schur 分 解 ;QR 和 迭代 算法 ;上 Hessenberg 和 矩阵 ;将 矩阵 约 化 为 上 Hessenberg 拢 
阵 的 Householder 方法 ;对 上 Hessenberg 矩阵 进行 QR 迭代 的 算法 ; 带 原点 位 移 (单位 移 ) 
的 QR 迭代 算法 ;矩阵 的 奇异 值 . 左 / 右 奇 异 向 量 和 奇异 值 分 解 ; 列 正 交 阵 ; 精简 奇异 值 分 
解 ; 弗 罗 贝 尼 乌 斯 (Frobenius) 范 数 ; 伪 逆 ; Eckart-Young 定理 ; 截断 奇异 值 分 解 。 


算法 背后 的 历史 : A. Householder 与 矩阵 分 解 


阿尔 斯 通 。 豪 斯 霍 尔 德 (Alston Scott Householder,1904 年 5 月 5 日 一 1993 年 7 月 4 
日 , 见 图 5-12) 是 美国 艺术 和 科学 院 院士 ,著名 的 应 用 数学 家 、 生 
物 数学 、 数 值 计算 专家 。Householder 生 于 美国 伊利 诺 伊 州 的 洛 
克 福 特 (Rockford), 辛 于 加 利 福 尼 亚 州 的 马里 布 (Malibu)。 他 分 
别 于 1925 年 .1927 年 获得 美国 西北 大 学 的 学 士 和 美国 康 奈 尔 大 
学 的 硕士 学 位 ,专业 都 是 哲学 。 随 后 ,他 在 一 些 学 校 担任 数学 教 
师 , 同 时 攻读 数学 博士 学 位 ,1937 年 他 取得 芝加哥 大 学 博士 学 位 
之 后 在 芝加哥 大 学 从 事 与 生 物 学 有 关 的 应 用 数学 研究 ,1944 年 
离开 芝加哥 大 学 在 美国 海军 研究 实验 室 担 任 数 学 顾问 ,研究 兴趣 ”图 5-12 Householder 
转向 数值 计算 。 第 二 次 世界 大 战 结束 后 的 1946 年 ,他 加 入 美国 
橡树 岭 国家 实验 室 (Oak Ridge National Laboratory, ORNL) 数 学 部 ,从 事 数 值 计 算 有 关 的 
研究 ,1948 年 他 开始 担任 数学 部 的 主任 。 当 时 ,由 于 计算 机 的 兴起 ,数值 计算 变 得 非常 重 
要 ,在 各 种 研究 课题 中 边 切 需要 有 效 求 解 线 性 方程 组 和 给 阵 特征 值 。1969 年 ,他 离开 
ORNL, 成 为 美国 田纳西 大 学 数学 教授 ,同年 获得 IEEE 计算 机 分 会 的 Harry H. Goode 
Memorial 奖 , 以 表彰 他 在 应 用 计算 机 求解 大 规模 问题 的 数值 方法 方面 所 做 的 贡献 。 他 曾 担 
任 美国 数学 会 主席 .SIAM 主席 和 ACM 主席 。 

Householder 的 主要 贡献 

1951 年 左右 ,Householder 在 线性 代数 算法 分 类 方面 做 出 的 一 系列 研究 工作 具有 重要 
意义 。 他 发 现 当时 很 多 算法 的 内 在 本 质 都 是 相同 或 等 价 的 ,都 可 以 用 几 种 矩阵 分 解 形式 表 
示 , 即 将 天 阵 表示 为 三 角 矮 阵 、 对 角 矩 阵 或 正 交 给 阵 的 乘积 。 这 种 分 解 方法 的 提出 使 得 软件 
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开发 者 可 以 开发 灵活 而 有 效 的 算 阵 计 算 软 件 包 ,也 大 大 推进 了 数值 线性 代数 中 的 会 入 误差 
分 析 的 有 关 研 究 。 因 此 ,他 的 这 项 成 果 被 评 为 “20 世纪 十 大 算法 ”之 一 。Householder 还 是 
系统 地 使 用 范 数 作为 数值 方法 理论 分 析 工 具 的 先驱 者 。 他 于 1958 年 提出 了 矩阵 的 
Householder 变换 ,这 是 一 种 非常 有 用 的 对 称 、 正 交 短 阵 , 基 于 它 实 现 了 高 效 、 稳定 的 矩阵 
QR 分 解 。 他 的 研究 成 果 反 映 在 如 下 著作 中 : 

A. S. Householder. Principles of Numerical Analysis. McGraw-Hill，New York, 1953. 

A.S. Householder. The Theory of Matrices in Numerical Analysis. Dover, New 
York, 1964. 

除了 在 学 术 研 究 上 取得 成 功 ,Householder 还 积极 组 织 数值 线性 代数 方面 的 研讨 会 ,于 
1961 年 组 织 召开 了 第 一 届 盖 特 林 堡 数值 线性 代数 研讨 会 (Gatlinburg Symposium on 
Numerical Linear Algebra) ,该 会 议 此 后 不 间断 地 召开 。1980 年 后 ,为 了 表彰 Householder 
做 出 的 贡献 ,该 研讨 会 改名 为 Householder Symposium on Numerical Linear Algebra, 一 直 
持续 召开 。 此 外 ,Householder 的 研究 贡献 还 包括 数据 处 理 技术 、 生 物 数 学 ,以 及 计算 机 在 
生物 医学 和 生理 学 方面 的 应 用 等 方面 。 


练 习 题 


A A 
O 42 
癌 二 [alias ,as] 为 对 应 的 特征 向 量 ,X4 为 As 的 特征 值 , 闪 =L8 ,六 末 为 对 应 的 特征 向 量 。 
试 证 明 : 

(1) NAx 为 A 的 特征 值 。 

(2) x 二 [a ,az ,as,0,0]" 为 矩阵 4 对 应 于 4; 的 特征 向 量 。 
0.5 一 0.6 0.6 


1. 设 4=| | 其 为 3X3 矩阵 ,As 为 2X2 矩阵 ,又 设 为 Au 的 特征 值 ， 


2. 用 圆 盘 定理 估计 矩阵 4 三 | 1 一 1.2 一 0.8 | 的 pC(4) 和 cond(4), 的 范围 。 
0 —0.6 3 
3. 设 
4 一 1 
—1 4 一 1 
A= 六 : 坝 E Rom ， 
—1 4 一 ! 
一 1 4 


试 确定 A 及 4 特征 值 的 界 ( 提 示 :用 圆 盘 定理 估计 ) 。 
4. 用 震 法 计算 下 列 矩 阵 的 主 特征 值 及 对 应 的 特征 向 量 : 
7 3 一 2 
3 4 中 
一 和 .一 站 3 
当 特征 值 的 小 数 点 后 3 位 的 数值 稳定 时 终止 迭代 。 


一 
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5. 求 矩 阵 


与 特征 值 4 对 应 的 特征 向 量 。 
6. 利用 反 老 法 求 矩 阵 


的 最 接近 7 的 特征 值 及 对 应 的 特征 向 量 。 
7. 试用 Householder 变换 对 矩阵 A 做 QR 分 解 , 求 出 矩阵 CO 和 尺 。 


1 和 1 
A=|2 一 1 一 1 
2 一 4 5 


8. 用 Householder 变换 将 下 述 矩 阵 进 行 正 交 三 角 化 , 写 出 计算 步骤 ,包括 Householder 
变换 对 应 的 向量 以 及 结果 尺 矩阵 。 


4 0 0 
A= [ 5 性 
务 汤 性 
9. 用 一 系列 Givens 旋转 变换 将 矩阵 
li -00 
0 1 
-| 9% 01 
= 
—1 01 
0 —11 


化 为 上 三 角 和 矩阵 ,将 结果 与 例 5. 11 的 结果 进行 比较 。 
10. 若 4ER:" 为 非 奇 异 和 矩阵 ， 
A=0OR. 
其 中 ,QER”" 为 正 交 和 矩阵 ,RE R"”" 为 上 三 角 和 矩阵 , 且 其 对 角 线 元 素 均 为 正 , 证 明 满足 上 述 
条 件 的 矩阵 CQ 和 R 是 唯一 的 。 
11. 用 Givens 旋转 变换 对 上 Hessenberg 矩阵 Ai 做 QR 分 解 ,然后 将 得 到 的 矩阵 CQ 和 
R 颠倒 次 序 相 乘 得 到 和 抢 阵 4， ,证 明 4， 仍然 是 上 Hessenberg 和 矩阵。 
12. 利用 Householder 变换 将 
1 3 4 
-| :| 
4 2 1 


4 


正 交 相似 化 为 对 称 三 对 角 和 矩阵 。 
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13. 假设 构造 Householder 变换 矩阵 吾 将 矩阵 4 正 交 相似 变换 为 
A ri 
mr 可] 
0 A 
其 中 ,A1 ER™D?*”? 了 ,mER"”!。 设 是 A 的 一 个 特征 值 ,Xs 隆 , 对 应 的 特征 向 量 为 
yz , 试 证 明 : 


a T 
一 本 | 其 中 a 一 -全 
y2 


是 A 的 与 4, 对 应 的 特征 向 量 。 

14. 设 nXn 和 矩阵 A 为 非 亏损 矩阵 , 设 PGQ) 王 co 十 cu 十 … 十 ca 十 局 是 4 的 特征 多 
项 式 , 试 证 明 :P(A4)==coI 十 cA 十 … 十 c,-14”! 十 4" 二 0 。 

15. 将 1 一 姑 的 正 整数 填 信 阶 矩阵 中 ,并 使 每 行 元素 之 和 相等 、 每 列 元 素 之 和 相等 ， 
这 样 得 到 的 矩阵 称 为 n 阶 幻 方 矩 阵 (magic matrix) 。 

(1) 下 列 3 阶 幻 方 矩 阵 的 主 特征 值 是 多 少 ? 


4 9 2 
(2) 一 般 的 阶 幻 方 矩 阵 A， 的 主 特征 值 是 多 少 ? 
(3) 一 般 的 n 阶 幻 方 矩 阵 A, 的 最 大 奇异 值 是 多 少 ? 
16. 双向 对 称 和 矩阵 (persymmetric matrix) 是 一 种 关于 正 对 角 线 和 反对 角 线 都 对 称 的 矩 
阵 。 一 些 通信 理论 问题 的 解 涉 及 双向 对 称 和 矩阵 的 特征 值 与 特征 向 量 。 下 面 的 4X4 双 向 对 
称 矩 阵 就 是 一 个 例子 : 
2 一 1 0 0 
| 2 一 1 0 
0 =1 2 一 1 
0 0 "= 2 
(1) 用 圆 盘 定理 证 明 , 若 4 是 矩阵 4 的 最 小 特征 值 , 则 |4 一 4| = 二 p(A4 一 41)。 
(2) 计算 矩 阵 A 一 4I 的 所 有 特征 值 与 谱 半 径 , 并 根据 它们 求 4 的 最 小 特征 值 以 及 对 应 
的 特征 向 量 。 
17. 一 个 线性 动态 系统 可 通过 下 述 方程 描述 : 


全 一 4CDx(Ct) + But), y(t) 一 CCDxG) 十 PDCACL)， 


一 般 地 ,A 是 一 个 nXn 的 时 变 矩 阵 ,B 是 一 个 2 Xr 的 时 变 矩 阵 ,C 是 一 个 za Xn 的 时 变 
矩阵 ,D 是 一 个 m Xr 的 时 变 矩 阵 ,x、y、u 分别 为 n 维 、m 维和 x 维 的 时 变 向 量 。 要 使 系统 稳 
定 ,在 任何 时 刻 :, 和 矩阵 4 的 所 有 特征 值 都 必须 有 非 正 的 实 部 。 


二 


(1) 如 果 
一 1 2 -0 
A(D) =|—2.5 一 7 中 
0 0 = 
系统 稳定 吗 ? 
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(2) 如 果 
= | 0 0 
0 一 2 0 
4(t) = ， 
0 0 一 号 1 
= = = = 
系统 稳定 吗 ? 
上 机 题 


1. 用 宕 法 求 下 列 和 矩阵 按 模 最 大 的 特征 值 ah 及 其 对 应 的 特征 向 量 xw ,使 | (De 一 
(hi 


5 一 4 〖 
(1) A=| 一 4 @ “三 业 |s 

1 .= 7 

25 一 41 用 ”一 4 
(2) B= 一 41 68 一 17 10 


10 一 17 5 一 3 | 
-6 10 -3 2 

2. 编程 实现 寡 法 的 算法 5.1。 考 虑 例 5. 1 和 图 5-1 的 弹簧 一 质点 系统 ,假设 所 一心 一 
二 1,m 二 2,mz 二 3,ms 二 4, 使 用 和 宪法、 收缩 技术 求 此 系统 的 3 个 振动 的 自然 频率 w。 使 用 
位 移 技术 和 反 寡 法 改进 解 的 准确 度 。 


95 0.5 访 筷 0 3 
3. 设 4=| 7 5, 在 MATLAB 中 实现 基本 的 QR 算法 ,观察 
sy 0 dS 一 
人 5 一 055 ‘=.5 05 
矩阵 序列 收敛 的 情况 ,然后 解释 观察 到 的 现象。 
0.5 LL 0.5 0.5 
0.5 = 
4. 采用 带 原 点 位 移 的 QR 算法 计算 4=| “> 的 特征 值 ,观察 
0..5. =.5 .9 =05 
3. 三 从 电 ， = 二 人 5 0.5 


迭代 过 程 的 收敛 情况 ,与 上 机 题 3 的 实验 结果 作 比 较 。 

5. 在 MATLAB 中 实现 算法 5.5, 可 采用 现成 的 一 些 命令 (如 化 为 上 Hessenberg 矩阵 ， 
QR 分 解 ) ,用 它 计算 例 5. 13, 看 看 和 矩阵 收敛 到 上 三 角 和 矩阵 的 快慢 情况 ,将 它 与 例 5. 14、 
例 5. 15 观察 到 的 现象 作 比 较 。 

6. 习题 14 的 结论 实际 上 可 推广 到 一 般 的 矩阵 ,这 是 Cayley-Hamilton 定理 , 即 任意 
72X7 和 矩阵 4 都 满足 其 特征 方程 。 

(1) 以 例 5. 2 中 的 矩阵 为 例 , 编 程 验证 Cayley-Hamilton 定理 (提示 :在 MATLAB 中 ， 
poly 命令 可 直接 得 到 矩阵 的 特征 多 项 式 ) 。 

(2) 根据 Cayley-Hamilton 定理 ,有 
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P(4) = coI 十 c4 十 … 十 ci 一 十 4h" 一 0， 
则 对 任意 非 零 向 量 xo , 若 设 x 二 Axs_1,(k 二 1,2,…,n), 则 得 到 方程 
coxo 十 cixi 十 十 ceiX 1 二 一 Xo 
这 是 关于 co ,ci,…,c-1 的 线性 方程 组 ,通过 求解 它 可 得 到 特征 多 项 式 的 系数 。 编 程 实 
现 这 个 方法 ,并 用 较 大 的 矩阵 测试 ,对 比 结果 与 MATLAB 中 的 poly 命令 。 


第 6 章 函数 和 逼近 与 函数 插值 


本 章 介绍 函数 逼近 与 函数 插值 的 有 关 理 论 和 算法 。 函 数 逼近 问题 与 函数 插值 问题 既 有 
联系 ,又 有 区 别 ,它们 都 是 用 较 简单 的 函数 近似 未 知 的 或 表达 式 较 复杂 的 函数 。 一 般 来 说 ， 
函数 逼近 是 要 在 整个 区 间或 一 系列 离散 点 上 整体 各 近 被 近似 函数 ,而 在 进行 函数 插值 时 , 则 
须 保证 在 若干 自 变量 点 上 的 函数 值 与 被 近似 函数 相等 。 


6.1 因数 逼近 的 基本 概念 


函数 逼近 问题 一 般 是 在 较 简 单 的 酚 数 类 @ 中 找 一 个 函数 p(x) 近似 给 定 的 函数 
f(z) ,以 使 得 在 某 种 度量 意义 下 误差 函数 pz) 一 7Cz) 最 小 。 被 逼近 本 数 /(x) 可 能 是 
较 复 杂 的 连续 函数 ,也 可 能 是 只 在 一 些 离散 点 上 定义 的 表格 函数 ,而 函数 类 更 可 以 是 
多 项 式 、 分 段 多 项 式 、 三 角 函 数 ` 有 理 函 数 等 。 函 数 和 逼近 问题 中 度量 误差 的 手段 主要 是 
函数 空间 的 范 数 。 下 面 首先 介绍 函数 空间 的 范 数 .内 积 等 有 关 概 念 , 然 后 讨论 函数 逼 
近 问 题 的 不 同类 型 。 


6.1.1 函数 空间 


线性 空间 的 概念 大 家 都 很 熟悉 ,其 定义 中 包括 一 个 元 素 集合 和 一 个 数 域 ,以 及 满足 一 定 
运算 规则 的 “加 法 >” 和"* 数 乘 运算。 简单 地 说 , 若 这 个 元 素 集 合 对 于 “加 法 ”和 ”* 数 乘 " 运 算 封 
闭 , 则 为 一 线性 空间 。 线 性 空间 的 元 素 之 间 存 在 线性 相关 和 线性 无 关 两 种 关系 ,进而 又 有 空 
间 的 基 和 维 数 的 概念 。 

这 里 先 考虑 实 连续 函数 形成 的 集合 C[a, 忠 , 它 按 函数 加 法 以 及 函数 与 实数 乘法 构成 
一 个 线性 空间 。 对 于 [a,6b] 区 间 上 所 有 & 阶 导数 连续 的 函数 全 体 C'[a,b], 也 类 似 地 构成 
一 个 线性 空间 。 我 们 一 般 讨论 实 数 函 数 ,因此 对 应 的 是 实数 域 R, 若 讨论 复数 函数 , 则 相 
应 的 是 复数 域 C。 另 外 ,与 线性 代数 中 讨论 的 向 量 空间 R" 不 同 ,连续 函数 空间 是 无 限 
维 的 。 

对 线性 空间 可 以 定义 范 数 的 概念 ( 见 3. 1. 2 节 )。 针 对 实 连 续 函 数 空间 CLa,4b], 与 向 量 
空间 类 似 , 可 定义 如 下 3 种 函数 的 范 数 (function norm)。 

1) co- 范 数 

设 f(z)ECLa.60j,; 则 f(x) 中 == max |f(z)| 

其 几何 意义 如 图 6-1 所 示 , 即 函数 值 绝对 值 的 最 大 值 。 

2) 1- 范 数 


xz} ja 二 上 | ¥Cx) | .dx 
其 几何 意义 如 图 6-2 所 示 , 即 函数 曲线 与 横 轴 之 间 的 面积 总 和 。 
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maxl/(x)| 


fA 
ry 


“y 


HT 


图 6-1 函数 /(z) 的 oo- 范 数 图 6-2 函数 f(z) 的 1- 范 数 
3) 2- 范 数 
b 1/2 
lrceol = [meodaz] 


2- 范 数 也 常 称 为 平方 范 数 ,其 几何 意义 与 1- 范 数 类 似 。 

线性 空间 还 有 一 个 重要 概念 是 内 积 , 它 定义 了 空间 中 两 个 元 素 的 一 种 运算 。 下 面 给 出 
一 般 的 线性 空间 内 积 的 定义 。 

定义 6.1: 设 S 为 实数 域 R 上 的 线性 空间 , Yu,v€E S, 定 义 值 域 为 R 的 二 元 运算 (u,v)， 
若 满足 

(1) 《xu 一 (ux)， (可 交换 性 ) 。 

(2) (axu) 一 ax(uv)， VER， (线性 性 1) 。 

(3) (十 v,w)= 二 (sw) 十 (v,w), WoES， (线性 性 2) 。 

(4) (uswu) 宇 0, 当 且 仅 当 w==O 〇 时 0,《u,u) 二 0，( 非 负 性 )。 
则 称 (u,wv) 为 一 种 实 内 积 运算 (inner product) 。 定 义 了 实 内 积 的 线性 空间 称 为 实 内 积 空间 。 

应 说 明 的 是 ,将 定义 6.1 加 以 扩展 可 在 更 一 般 的 复数 域 C 上 定义 内 积 , 区 别 只 是 将 第 一 
个 条 件 改 为 共 斩 可 交换 性 : 

(u,v) = (vs) 

例如 , 复 向 量 的 内 积 为 (u,v) 二 wTT, 可 以 验证 它 满足 上 述 共 红 可 交换 性 。 考 虚实 内 积 
得 到 的 结果 都 可 以 类 似 地 推广 到 复 内 积 空间 。 另 外 ,定义 6. 1 的 条 件 3 还 说 明 零 元 素 与 任 
意 元 素 的 内 积 均等 于 0。 

根据 内 积 的 线性 性 质 可 推出 


《ait aurv) = a(urv) Ta (uy, yaa EC， 《6. 1) 
更 一 般 地 ,有 
( Dau sv) = Palwsv), Vossas EC (6.2) 
j=1 jl 


这 里 主要 考虑 函数 空间 , 式 (6.2) 表 明 , 线 性 组 合 函 数 (与 男 一 函数 作 ) 内 积 等 于 (相应 各 
个 函数 ) 内 积 的 线性 组 合 。 
可 以 规定 一 种 依赖 于 内 积 运算 的 范 数 : 
| zl a Vu) 。 
易 知 这 种 内 积 导出 的 范 数 满足 范 数 定义 的 3 个 条 件 ( 见 3. 1. 2 节 ) ,详细 证 明 过 程 留 给 读者 
思考 。 注 意 ,在 向 量 空间 中 ,常用 的 向 量 内 积 导 出 的 范 数 等 同 于 向 量 的 2- 范 数 。 在 实 函 数 
空间 C[a,6] 中 ,一 般 定义 内 积 为 


@ 这 里 用 正体 的 字母 O 表示 线性 空间 的 零 元素 , 下 同 。 
。 194 。 
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b 
u(x) ,v(x)) = | coscoar: 《6. 3 


因此 ,由 它 导出 的 范 数 也 等 同 于 函数 空间 的 2- 范 数 。 
下 面 介 绍 与 内 积 有 关 的 两 个 重要 定理 。 
定理 6.1: 设 S 为 实 内 积 空间 , wi,uES, 有 
| (uv) | (uu) (vv) 。 (6.4) 
这 是 著名 的 柯 西 - 施 瓦 英 不 等 式 (Cauchy-Schwarz inequality) 。 
定理 6. 1 的 证 明 留 给 读者 思考 。 若 uv 为 三 维 向 量 , 请 思考 该 定理 有 什么 几何 含义 ? 
定理 6.2: 设 S 为 实 内 积 空间 ,xm ,ws,…,u,ES, 则 格拉 姆 矩阵 (Gram matrix) 


《ya (xy … (yu 
Se Win) Wi MM ao) Cs 
(U9Un) (UsoUn) 。 《zytn》 


非 奇 异 的 充 要 条 件 是 w ,us ,… wu 线性 无 关 。 
[证明 】 首先 用 到 线性 代数 中 的 一 个 基本 结论 ， 
矩阵 G 非 奇异 “所 ，det(G) 天 0 马 ” 齐 次 线性 方程 组 Go 一 0 只 有 全 零 解 。 
设 向 量 a==[@ ,as,… ,a,]', 则 方程 Ga==0 可 写成 
Ss = (k= 1,2,°,n)。 (6.6 
下 面 证 明 方程 组 (6. 6) 只 有 恒 零 解 的 充分 必要 条 件 是 ,ws,… ,us 线性 无 关 。 先 证 必 
要 性 , 即 已 知 方程 组 (6. 6) 只 有 恒 零 解 ,要 证 ww ,ww,…, ww 线性 无 关 。 采 用 反 证 法 , 若 ， 


如 ,st 线性 相关 , 即 存在 不 全 为 0 的 一 组 系数 (6;j 二 1,2,… ,加 ,使 au = 0, 则 


Do) = 一 D7 = (On) =0, (k= :2590) 
即 这 组 la } 是 方程 组 (6. 6) 的 解 ， 与 已 知 条 件 矛 盾 。 
再 证 充分 性 , 即 已 知 mm ,ws，… ,us 线性 无 关 , 要 证 方程 组 (6.6) 只 有 全 零 解 。 仍 采用 反 
证 法 , 若 方程 组 (6. 的 各 丰 不 要 老生 的 二 相克 to] ), 则 
Da, u) = (Don Wy = 0 (k= Ls 
将 上 述 方程 中 第 《个 方程 乘 以 w， 累加 所 有 方程 得 到 


(Daw Pom) = 


根据 内 积 的 定义 , 必 有 Do = 二 0。 也 就 是 说 ,存在 不 全 为 0 的 一 组 {a;)?-1 ,使 Do = = 0， 


这 与 za ,ws ，… ,uu 线性 无 关 的 已 知 条 件 矛 盾 。 综 上 所 述 ,完成 了 定理 的 证 明 。 国 
注意 ,格拉 姆 矩阵 是 实 对称 和 矩阵 ,并且 当 mm ,xz ,…:z 线性 无 关 时 , 它 是 对 称 正定 矩阵 。 
针对 实 函 数 空间 CLa,6j, 常 有 权 函 数 、 加 权 内 积 的 概念 。 
定义 6.2: 若 函 数 p(x) 宇 0, YrE[La,0j, 且 满足 


b 
(1) | zio(z)dz 存在 (k= 二 0,1,2,…)， 
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(2) 对 非 负 连续 函数 g(x), 若 | ceocodrz 三 0 可 推出 g(x) 圭 0， 


则 称 p(xz) 为 区 间 [a,b] 上 的 权 函 数 (weight function) 。 

关于 权 函 数 的 定义 ,说 明 以 下 3 点 。 

(1) 定义 中 对 连续 性 没有 要 求 , 即 p(x) 可 能 不 是 连续 函数 ;第 一 个 条 件 要 求 的 是 oCz) 
与 多 项 式 乘 积 为 可 积 函 数 。 

(2) 定义 中 第 二 个 条 件 的 意义 不 是 很 直观 , 较 直 观 的 一 种 等 价 形式 为 : 不 存在 子 区 间 
(cdIS[a, 杂 ,使 po(Cz) 一 0,YrzE(cd), 即 *“ 权 函数 在 La, 妇 中 任 一 子 区 间 不 便 为 零 ”。 

(3) 一 般 遇 到 的 CL[a,b]j 中 的 非 负 函数 (一 定 有 界 、 可 积 ) , 若 不 在 某 一 子 区 间 恒 为 零 , 则 
都 可 作 权 函数 。 

定义 6.3; 车 p(x) 为 区 间 [a,6] 上 的 权 函 数 , 则 可 定义 CL[a,0] 上 的 内 积 为 


(u(xz),v(z)) = [ecu vn de, (6.7) 
并 称 其 为 加 权 内 积 (weighted inner product)。 
容易 验证 ,加 权 内 积 满足 一 般 内 积 的 定义 ,并 且 常 用 的 函数 内 积 式 (6. 3) 是 加 权 内 积 的 
特例 ,其 对 应 于 权 函 数 p(x) 志 1 的 情况 。 根 据 加 权 内 积 也 可 以 导出 范 数 , 这 种 范 数 可 看 成 是 
广义 的 2- 范 数 ,其 公式 为 


6 1/2 
f(z) = [ecoreoaz] 


6.1.2 函数 逼近 的 不 同类 型 


在 函数 逼近 问题 中 ,用 简单 函数 zz) 近 似 f(x) ,并 要 求 误差 最 小 。 这 里 度量 误差 大 小 
的 标准 是 范 数 ,采用 不 同 范 数 时 其 问题 的 性 质 不 同 。 下 面 分 两 种 情况 讨论 。 

1. co- 范 数 

考虑 误差 函数 jz) 一 /xz) 的 cc- 范 数 ,假设 函数 的 定义 域 为 [Le ,Oo , 则 可 设 

e= |‖ pz) 一 Coz)|1- max | p(x)— f(x) |， 
因此 有 一 ep(zx) 一 f(x) 二 e, Yr€ELa,bj, 即 
p(xr)—e<f(r) Splr)te, Vr€El[a,b], 

图 6-3 显示 了 函数 p(z)、f(z) 以 及 p(x) 一 f(x) -之 间 的 关系 。 从 图 6-3 中 可 以 
看 出 ,在 ==- 范 数 意义 下 的 逼近 要 求 使 s 尽量 小 ,也 就 是 要 p(x) 在 整个 区 间 上 “一 致 地 ”接近 
f(z)。 因 此 ,采用 吕 - 范 数 的 函数 双 近 问题 常 称 为 最 佳 一 臻 允 近 。 


pote 
P0D 


ol 
图 6-3 函数 p(z)、f(z) 以 及 上 p(z) 一 f(z) -之 间 的 关系 


" L966 
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2. 1- 范 数 和 2- 范 数 
先 看 误差 函数 p(x) 一 f(z) 的 1- 范 数 ， 
p(x)— f(x), = 上 | zz) 一 Cz) | dz， 


令 A= | p(z) 一 f(x) | 1, 则 它 表示 p(xr) 和 f(x) 两 个 函数 曲线 之 间 的 面积 ( 见 图 6-4) 。 在 
1- 范 数 意义 上 的 逼近 要 求 A 尽量 小 ,也 就 是 要 p(x) 与 f(x) 曲 线 之 间 的 总 面积 尽量 小 ,反映 
出 这 种 逼近 有 整个 区 间 上 ”平均 ”误差 尽量 小 的 含义 (在 某 个 子 区 间 上 误差 可 能 很 大 ) 。 

f(x) 


A p(x) =f ON 


1 
1 
1 
1 
1 
1 
1 
1 
上 

b 


了 


和 


1 
1 
1 
1 
1 
1 
a E33 


ol 
图 6-4 函数 pC(z)、f(z) 以 及 上 p(z) 一 f(z) ,之 间 的 关系 


2- 范 数 的 意义 与 1- 范 数 的 意义 大 体 上 类 似 ,由 于 它 更 容易 处 理 , 因 此 在 实际 的 双 近 问 
题 中 一 般 采用 2- 范 数 。 这 种 盘 近 称 为 最 佳 平 方 台 近 或 最 小 二 乘 通 近 (least squares 
fitting) 。 

直观 上 看 ,采用 ==- 范 数 的 最 佳 一 致 逼近 效果 更 好 一 些 , 而 最 佳 平方 逼 近 具 有 平均 误差 
最 小 的 含义 。 

除了 可 采用 不 同 的 范 数 度量 误差 函数 ,被 逼近 函数 也 可 分 为 连续 函数 和 表格 函数 两 种 
情况 。 表 格 函 数 就 是 仅 在 一 系列 离散 自 变量 点 上 已 知 函数 值 的 函数 ,可 通过 函数 值 组 成 的 
向 量 刻画 ,有 关 逼 近 问 题 的 求解 有 特殊 的 处 理 方法 。 而 在 逼近 函数 类 方面 ,多 项 式 函 数 是 最 
常用 的 一 种 。 下 面 给 出 魏 尔 斯 特 拉 斯 定理 (Weierstrass theorem), 它 是 用 多 项 式 函 数 进行 
允 近 的 一 个 重要 依据 。 

定理 6.3: 设 /(x)EC[La,6b], 则 对 任何 e0, 总 存在 一 个 多 项 式 P(x), 使 P(x) 一 
f(z) <e 在 [a, 56] 上 成 立 。 

该 定理 的 证 明 已 超出 本 书 的 要 求 , 因 此 不 做 讨论 。 值 得 一 提 的 是 , 若 f(x)€ CL0,1]， 
伯 恩 斯 坦 多 项 式 (Bernstein polynomial)? 


B,(f,x) = Ds ee, 
其 中 
DD = | ke 
Q(T) = 辣 人 


就 是 满足 定理 要 求 的 多 项 式 P(z)。 注 意 ,B, ( 刻 z) 为 愤 次 多 项 式 ,并 且 可 以 证 明 limB,( 矿 z) 一 
f(z) 在 [0, 1 上 一 臻 成立。 因此,CL0,1j 中 的 任意 函数 都 可 用 伯 恩 斯 坦 多 项 式 (一 致 ) 通 近 
到 任意 好 的 程度 。 注 意 , 它 一 般 不 是 多 项 式 函 数 类 P, 中 的 最 佳 一 臻 逼近 。 


四 ”由 苏联 数学 家 伯 恩 斯 坦 (1880 一 1968 年 ) 于 1912 年 提出 。 
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最 后 说 明 一 点 , 求 最 佳 一 臻 逼近 多 项 式 的 方法 比较 复杂 , 感 兴趣 的 读者 请 参考 文献 
[5]、L9]。 本 章 后 面 主要 介绍 求 最 佳 平 方 逼 近 的 方法 , 它 有 很 广泛 的 应 用 。 


6.2 连续 函数 的 最 佳 平方 逼近 


为 了 记号 的 方便 ,在 6.2 节 和 6.3 节 我 们 记 函 数 的 自 变 量 为 + 。 
6.2.1 一 般 的 法 方程 方法 


1. 问题 描述 

假设 对 Fo EC[a ,O 匀 进行 函数 逼近 ,逼近 函数 类 更 应 是 形式 简单 的 函数 类 ,如 多 项 式 
函数 .三角 函数 有理 函 数 等 ,并 且 它 是 有 限 维 的 线性 子 空 间 。 设 B= span{ gi (0) ,po (7D),… 
各 (0) 则 更 的 任 一 元 素 可 表示 为 


S(2) = Si (6. 8) 
其 中 ,zzz…zER。 | 
连续 函数 的 最 佳 平方 允 近 问题 就 是 求 S(1) EB, 使 S00) 一 f02) ,达到 最 小 值 。 利 用 


式 (6.8) 以 及 2- 范 数 的 定义 ,上 述 问题 等 价 于 最 小 化 


下 一 ‖ SG 一 Fo) ;一 | [2a —/W]d (6.9) 
下 是 关于 实 系数 zi ,zs，… ,x 的 多 元 函数 ,需求 出 下 的 最 小 值 对 应 的 那 组 系数 z+， 


We 


2. 法 方程 方法 
下 面 推导 如 何 求 式 (6.9) 的 最 小 值 点 。 为 了 记号 简便 ,省 略 函 数 记号 中 的 “(4)”, 即 直接 
用 /表示 f(z)。 根 据 2- 范 数 与 内 积 的 关系 ， 
F= 1S—/fli= (2x8 — F279; —f) 
由 多 元 函数 取 极 值 的 必要 条 件 知 ,系数 zi ,zs，… ,zs 应 满足 方程 


i (6.10) 
Gk 
即 
oF 
Be (Pulp Pap) 23 9) + (7,7)) 
= (DE 2300)) 
=2zi C9, es (i391) —2(f,98) =0, (k=1,2,°,n) 。 
pe 
jk 
上 述 推导 得 到 等 价 的 方程 


Dipsp) = (fg) (k=1,2,%,n), C6 11Y 
j=1 
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这 是 关于 zi ,zs，… ,x 的 一 个 线性 方程 组 ,其 矩阵 形式 为 


PP》 (PP》 oo (pao) |[ zi (Pa 
ira) (pa》 (pa) (f ,92) 
后 Ee 9 ka 2 - J (6.12) 
PP》 (pagpn) (和 2》 || rs (f ,qn) 


注意 ,上 述 方程 的 系数 矩阵 为 格拉 姆 矩阵 , 且 mm ,go，… ,9 是 内 积 空间 更 的 基 , 线 性 无 
关 , 因 此 根据 定理 6. 2 ,方程 (6. 12) 的 系数 矩阵 非 奇 异 ,其 解 存在 并 且 唯一 。 设 方程 (6. 12) 
的 解 为 过 ,x2? ,… ,zx* , 则 得 到 最 佳 平方 允 近 函数 为 

SS =zxzipT+zz pT 二 rip EB。 (6. 13) 

线性 方程 组 (6. 12) 常 被 称 为 法 方程 (normal equation) ,这 种 求 最 佳 平 方 通 近 函数 的 方法 称 
为 法 方程 方法 。 

应 当 指出 ,方程 (6. 10) 是 多 元 函数 取 极 值 (最 值 ) 的 必要 条 件 , 而 非 充 要 条 件 。 因 此 ,上 
述 推导 过 程 得 到 的 x? ,x? ,… ,zx 未 必 能 保证 多 元 函数 下 取 最 小 值 。 下 面 证 明 得 到 的 函数 
S' 确实 与 /具有 最 小 2- 范 数 距离 0。 

由 于 z7 ,zz ,… ,zy 是 方程 (6. 11) 方程 (6.12) 的 解 , 则 


Dx; psp) = (fq), (k= 1,2,,n), 
再 根据 方程 (6. 13) ,得 到 
(S’ ,pa) = frp) SS (S*—f,p)=0, (k=1,2,%,n)。 
上 式 表明 ,误差 S 一 了 与 任 一 基 函 数 we 正 交 ,根据 内 积 的 线性 性 , 它 也 正 交 于 任 一 
SED, 
(S*—/f,S)=0, SEG., (6.14) 
方程 (6. 14) 表 明了 最 佳 允 近 函数 S* 的 一 个 重要 性 质 , 即 它 对 应 的 误差 函数 正 交 (垂直 ) 
f 于 @ 空 间 的 任 一 个 基 , 也 就 是 正 交 于 $ 中 任 一 元 素 。 在 
15° 三 维 向 量 线性 空间 中 .上 述 性 质 的 含义 如 图 6-5 所 示 , 根 
| 据 立体 几何 的 知识 很 容易 理解 它 是 成 立 的 。 从 图 6-5 也 
中 5 可 以 看 出 方程 组 (6. 12) 的 几何 意义 ,(f,q91) 是 f 在 gq 方 
向 上 的 投影 ,而 zx; 是 S’ 在 g; 方向 的 坐标 ,gq;,91) 是 ;在 


图 6-5 车 S* 为 求解 法 方程 得 到 ， 
的 对 三 的 最 佳 平分 逼近 n 方向 上 的 投影 ,于 是 2 rp) 表示 3S” 在 nn 方向 上 
则 S 一 /与 中 空间 正 交 的 投影 。 方 程 组 的 意义 就 是 S” 在 这 个 “平面 "的 各 个 基 方 
向 上 与 + 有 相同 的 投影 ,因此 S* 就 是 了 在 更 对 应 的 "平面 "上 的 投影 ,是 对 太 的 最 佳 和 逼 近 。 
下 面 证 明 对 任意 SEGB, 都 有 eS 一 fl 宇 上 nS* 一 fl13. 令 D=1S 一 了 1 一 上 Ss* 一 fl， 
即 证 明 D 宇 0 。 


D=1s—/fli— ls*—/l? 
一 (S 一 户 S 一 户 一 (3 —/f;S" 一方 


@ 第 4.3.1 节 中 的 变 分 原理 也 有 类 似 的 问题 。 此 外 ,也 有 其 他 方法 可 证 明正 取 到 最 小 值 ,如 根据 凸 优化 理论 和 黑 
森 矩 阵 的 正定 性 。 


“ 199 3 
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=(S,S)—2(f,S)+(f,f)—(S*,S*)+2(f,S*)—(f,f) 

=(S,S)—2(S,S*) 十 (S*,S*) 十 2(S,S*) 一 2(S* ,S*) 一 2(f,S) 十 2(f,S*》 

=(S—S*,S—S*) 二 2(S,S* 一 /+2(f 一 S*,S*)。 

因为 S* 一 f 与 @ 中 的 任 一 元 素 正 交 ,上 式 求 和 的 最 后 两 项 均 为 零 ,所 以 

D=(S—S*,S—S*)= ‖S 一 S li0.。 

这 说 明 , 对 VSEG, 1S 一 f 三 eS* 一 请 上, 所 以 法 方程 方法 求 出 的 解 是 最 佳 平方 和 逼 
近 解 。 总 结 上 述 推导 ,得 到 如 下 定理 。 

定理 6. 4: 假设 f 为 实 函 数 空间 的 某 个 元 素 , 而 8 为 该 空间 的 一 个 有 限 维 子 空间 ， 
$=span{ qi,92 9,)， 则 线性 方程 组 (6. 12) 存 在 唯一 的 解 zx? ,x2? ，…,x; ,并 且 由 它 构 造 
的 元 素 


S*=7ZxI9 二 x2 po 二 十 Tw pn 
为 瑟 子 空间 中 对 /的 最 佳 平方 逼近 , 即 
| SS 一 了 := min ls=7 lss 
注意 ,定理 6.4 的 结论 并 不 局 限于 连续 函数 空间 ,因为 前 面 的 推导 过 程 并 没有 利用 函数 
的 有 关 性 质 , 这 使 最 佳 平方 逼近 问题 和 法 方程 方法 可 以 推广 到 更 一 般 的 线性 空间 。 若 仅 考 
虚实 内 积 空间 ,法 方程 (6. 12) 的 系数 矩阵 一 定 是 对 称 正定 的 ,详细 证 明 留 给 读者 思考 。 
接 下 来 讨论 最 佳 平 方 通 近 的 误差 。 令 6=S' 一 f ,那么 
ls =(S 一/,S 一 F)=(S 一 FS ) 一 (S 一 让)， 
其 中 第 1 项 为 零 ,这 是 由 于 S* 满足 的 重要 性 质 [ 式 (6. 14)] , 则 


1181 一 一 人 一族 放 一 1 (Dp f= 1 2 (gf). 
(6.15) 
注意 ,最 后 求 和 式 中 的 (gj ,/) 为 法 方程 (6. 12) 的 右 端 项 元 素 。 这样, 用 ‖ |; 减 去 法 
方程 的 解 向 量 与 右 端 项 的 内 积 ,可 算出 误差 的 2- 范 数 ,也 就 是 最 佳 平方 逼近 的 误 关 
el.=,/1 fi- Dx (gp). C6.16) 
下 面 给 出 法 方程 方法 的 算法 描述 。 


算法 6.1: 求实 连续 函数 最 佳 平方 逼近 的 法 方程 方法 

输入 : 被 逼近 函数 f, 基 函数 pm ,ps，,… ,gy,; 输出 : 逼近 函数 S. 
根据 式 (6. 12) 形 成 法 方程 Gx 二 b; 

用 算法 3. 10 对 矩阵 G 进行 Cholesky 分 解 G=LL™; 

依次 执行 前 代 过 程 和 回 代 过 程 求解 方程 LLT'x==b, 得 到 x; 


S :一 Se 
i=1 


3. 最 佳 平方 逼近 多 项 式 
上 面 讨论 了 一 般 的 最 佳 平 方 逼 近 问 题 ,下 面 考虑 如 何 从 多 项 式 函 数 类 中 得 到 最 佳 平方 
逼近 多 项 式 。 
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假设 要 求 fo) 的 z 一 1 次 最 佳 平 方 逼 近 多 项 式 ,函数 的 定义 域 为 L0,1]。 此 时 取 逼 近 函 
数 空间 的 基 函 数 为 单项 式 函 数 , 即 {1,,…:z:), 则 法 方程 (6.12) 中 系数 矩阵 的 元 素 为 


1 
Pes 1 
j2 ea 
(pes i) | dt EFj—I’ (Rk, 一 1,2, 7)， 


法 方程 的 系数 矩阵 (格拉 姆 矩阵 ) 为 
总 1 
2 n 
a 1 
G, = 3 n 二 1 
1 1 有 1 
n 7 十 1 27 一 1 
再 推导 方程 右 端 项 的 计算 公式 ,得 到 完整 的 法 方程 为 
1 
1 去 “» 本 _ | rea 
1 子 二 本 S | room 
2 1 Ss 总 
n 7 十 1 “1 jr ‘g 


例 6.1( 最 佳 平 方 逼 近 多 项 式 ): 设 /(1)== V1 十 , 求 区 间 [0,1] 上 的 一 次 最 佳 平方 允 近 
多 项 式 , 以 及 逼近 误差 的 2- 范 数 。 
【 解 】 由 于 求 一 次 多 项 式 ,要 确定 两 个 多 项 式 系数 ,因此 先 计 算法 方程 的 右 端 项 : 


1 
| ea | VI 二 Pd Fn H Vi + VE 二 区 
0 0 0 


= In(1 十 YD) 十 六 V2 1.147， 


1 


1 1 
| feu | V1l+tidt 5 EF 
0 0 2 3 0 


C2 1) ~ 0. 609。 


然后 求解 法 方程 : 
1 工 
2 |fa]_ Tri.147 
于 国 | 网 加 Fe 
2 3 


解 得 一 0.934,zz 一 0.426, 则 一 次 最 佳 平方 通 近 多 项 式 为 
SY (1) 一 0.934 十 0.4261 
根据 式 (6. 16) , 求 出 误差 函数 的 2- 范 数 为 


2 
1 Sr 一 AD 一 [7 一 状态 ] 
j=1 


1 
= 人 | (1++2)di— (0.934X1.147++0.426 Xx 0.609) 
0 


一 0.051 国 
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注意 ,在 上 述 讨 论 中 ,由 于 被 逼近 函数 的 定义 域 为 [0,1], 法 方程 的 系数 矩阵 实际 上 是 
Hilbert 矩阵 ( 见 3.1.3 节 ), 当 较 大 时 , 它 是 高 度 病态 的 矩阵 ,实际 计算 中 引起 很 大 的 数值 
误差 。 事 实 上 ,即使 被 冯 近 函数 的 定义 域 不 是 [0,1], 只 要 选取 单项 式 函 数 为 基 函 数 , 法 方程 的 
系数 和 矩阵 都 具有 类 似 的 病态 性 。 

另 一 方面 ,上 述 方法 得 到 的 法 方程 是 一 个 稠密 的 线性 方程 组 , 当 很 大 时 ,求解 它 的 计 
算 量 很 大 。6. 2. 2 节 将 介绍 正 交 函数 族 的 概念 ,利用 它 将 加 速 法 方程 的 形成 与 求解 。 


6.2.2 用 正 交 函数 族 进行 逼近 


1. 正 交 函数 族 与 正 交 多 项 式 
定义 6.4: 设 函 数 f(1),g(1)E Cla,b],p(7) 为 权 函 数 , 若 


b 
(f(1) ,g(t)) = [pf We a 一 0， 
则 称 Fo) 与 g(O 在 Lo, 疏 上 带 权 正 交 。 若 函数 族 {o (0 ,Pa (0 ,… ,gi(1),…} 满 足 
站 0， a 
(g(t) ,G22)) = [oc Dad 四 | 


A:>0 j=&k 

则 称 函 数 族 { gi (7)) 为 在 [a, 6] 上 的 带 权 正 交 函 数 族 。 

定义 6.4 给 出 了 带 权 正 交 和 带 权 正 交 函数 族 的 概念 。 为 了 简便 ,下 面 省 略 “ 带 权 ” 两 个 
字 。 如 不 加 说 明 ,默认 权 函 数 p() 三 1。 

例 6.2( 正 交 函 数 族 ): 1,cost, sint,cos(27),sin(21),… 为 [一 x,x] 上 的 正 交 函数 族 ， 
并 且 

(1,1) = 2xs 
(sin(k1) ,sin(kt)) = (cos(kt) ,cos(kt)) = rx, (k=1,2,.)。 国 

如 果 限 定 正 交 函数 族 {g1 (2) ,g(t) ,… ,g(t)) 的 元 素 均 为 次 数 不 超 过 n 一 1 的 多 项 式 函 
数 , 则 称 它们 为 一 组 正 交 多 项 式 (orthogonal polynomials) ,是 多 项 式 空间 P,_1 的 一 组 正 交 基 。 

下 面 看 看 如 何 构造 正 交 多 项 式 和 正 交 函数 族 ,并 利用 它们 进行 最 佳 平方 和 逼 近 。 

构造 正 交 函数 族 的 基本 做 法 是 格拉 姆 - 施 密 特 正 交 化 过 程 (Gram-Schmidt 
orthogonalization) 。 若 考虑 的 是 多 项 式 函 数 空间 ,由 于 {1,z. 刀 ,…, 关 ,…} 是 一 组 基 郴 数 , 则 
格拉 姆 - 施 密 特 正 交 化 过 程 就 是 对 它 进行 逐个 正 交 化 的 操作 。 具 体 地 : 
CN (1 ,g(t)) 
El gD ,gD 
这 样 构造 出 的 函数 序列 (9g1 (0 ,gs (0) ,… ,gr(1),…) 为 正 交 多 项 式 序列 , 且 具 有 如 下 
性 质 。 

(1) gr (2) 为 k 一 1 次 多 项 式 , 且 最 高 次 项 系数 为 1。 

(2) 任何 p(t) EP, 都 可 表示 为 {91 (ip (oo+i(Ct) 的 线性 组 合 。 

(3) gi (4) 与 任 一 次 数 小 于 一 1 的 多 项 式 正 交 。 

(4) 满足 如 下 递 推 公 式 : 


p(t)=1, g(t)=i— 


P(t) = (D), (一 2,3,…)， (6.17) 


(t,1) 
‘1,1) (6. 18) 
Grant) = (t—a)plt)—Bope(t), (k=2,3,.) 
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《tpkCt) CE) 》 

一 一 一 一 一 一 一， a 
* (gilt) ,prt)) Ses 
B= (prt) ,Prt)) (6. 20) 


(geist 

(5) 方程 pi(1) 二 0(k 宇 2) 的 & 一 1 个 根 都 是 区 间 (a,6) 上 的 实数 , 且 均 为 单 根 。 

前 3 个 性 质 很 直观 ,第 4 个 性 质 的 证 明 思路 是 用 数学 归纳 法 证 明 式 (6. 18) 中 的 函数 满 
足 二 gj ,gx 记 二 0，Vj 二 k( 参 见 文献 [6] 和 文献 [29]) ,请 感 兴趣 的 读者 思考 。 第 5 个 性 质 超 
出 了 本 书 的 范围 ,其 证 明 及 应 用 可 参考 文献 [8]。 

2. 勒 让 德 多 项 式 与 其 他 正 交 多 项 式 

若 函 数 的 定义 域 为 区 间 [ 一 1, 1], 权 函数 p(1) 寺 1, 正 交 多 项 式 序列 中 的 多 项 式 被 称 为 
勒 让 德 多 项 式 (Legendre polynomial) ,用 Po(7) ,P;(z) ,… 表 示 。 勒 让 德 多 项 式 有 如 下 两 种 
表达 形式 。 

第 一 种 形式 通过 式 (6. 18) 一 式 (6. 20) 构 造 ,得 到 的 多 项 式 为 


下 dt 
这 样 得 到 的 勒 让 德 多 项 式 最 高 次 项 系数 为 1。 
第 二 种 形式 是 罗 德 利克 (Rodrigul) 给 出 的 简洁 表达 式 


一 | d* 
P(t)=1, P(t)= eR dr 


注意 其 最 高 次 项 系数 不 为 1。 事实 上 ,Pux(2) 的 上 述 两 种 形式 仅 相差 一 个 倍数 。 
勒 让 德 多 项 式 (6. 22) 具 有 重要 的 理论 意义 和 实用 价值 ,下 面 再 给 出 它 的 3 条 重要 性 质 。 
(1) 正 交 性 , 即 


PG) = 1 Pi =#= 三 称 PD) 一世 一 可 (6. 21) 


{2 Co—1)}, (k=1,2,0), (6. 22) 


0， j 关 上 
(Pj(D ,PC 一 上 2 。 (6. 23) 


(2) 奇偶 性 , 即 
Pi(—1) = (—1)Pi(2), 

它 表明 为 偶数 时 ,Pi(x) 为 偶 函 数 ,否则 为 奇 函数 。 

(3) 满足 较 简 单 的 递 推 公式 : 

(十 1) Pua(i) = (2k+ DiPilt) —kPi(t), (k= 1,2,.), 
根据 这 些 性 质 , 得 出 前 几 个 第 二 种 形式 的 勒 让 德 多 项 式 为 ( 同 式 (6. 22)) 
B= BG=b PQ= 人 (= (6. 24) 

除了 勒 让 德 多 项 式 ,考虑 不 同 的 权 函 数 和 自 变量 定义 域 ,还 有 其 他 几 种 重要 的 正 交 多 项 
式 , 具 体 列 于 表 6-1 中 。 

下 面 讨论 一 个 实际 应 用 时 常 遇 到 的 问题 : 如何 得 到 任意 [a.b] 上 的 正 交 多 项 式 ? 这 需 
要 利用 积分 变量 的 变换 推导 。 下 面 以 勒 让 德 多 项 式 为 例 , 看 如 果 将 定义 域 由 [一 1,1J 推 广 到 
La,6bj 的 情形 。 
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表 6-1 几 种 重要 的 正 交 多 项 式 
名 称 定义 域 权 函 数 表达 式 / 递 推 公式 


Po(t)=1, Pi(1)=t, 


让 德 N 一 1,1] le(D=1 
和 人 信和 机 | ] ec (k++ DP CD = 2k+DP DD —RP Ct), (A 一 1,2，…) 


第 一 类 一 
“| E=LaT | 
切 比 雪夫 多 项 式 | NT (0) =2T Dd = Tt), (=1,2,) 
第 二 类 UD)=1, Ui()=21, 
| Ey 
切 比 雪夫 多 项 式 | [一 1 |pD= VI D200 UCD, CG=1,2,.) 


Lo(t)=1, Li(2)=1—i, 


立 羡 尔 多 项 式 | [0, 十 co)|p(D) 一 e- 
人 [ PA Lari(t)=(1+2k—D)L (DD)—RL1(t), (k=1,2,.) 


全 Ti(1)=t, 


区 Hs(D)=1, 本 一 2t， 
尔 项 = 
埃 尔 米 特 多 项 式 | 二 oo PD Te 1 (一 1,2，) 


区 间 [ 一 1, 1] 上 的 勒 让 德 多 项 式 的 特点 是 下 面 的 积分 式 有 特殊 的 取 值 : 
AOAGER (j,k = 0,1,2,.), 
其 中 ,Pi (7) ,k==0,1,… 为 勒 让 德 多 项 式 。 要 考虑 一 般 的 La, 妇 , 需 将 积分 限 变 为 从 到 0， 
可 对 上 式 中 的 :做 变量 代 换 , 令 


、 灶 二 帮 Ba 
一 一 7 t 十 2 ， 


5 


即 
.25= a+) 
t 一 一 一 
0 一 4 


此 时 有 


b—a b—a b—a " 


1 b PN es 
| PP Wa [r,s 人 二 和 ]p, (2 E 2 二 
= a 


令 总 CD 一 已 [2 和 二 人 }, 则 序列 ( 屎 7) 满足 正 交 性 要 求 , 并 且 积分 变量 的 变化 范围 是 


b—a 

[a,6b]。 此 外 ,根据 式 (6.23) 还 可 推出 
方 福 | 二 :划一 让 
《Pi(t) ,P(t)) = 2 《P(t) ,P(t)) = 2 二 1 Ws 


综 上 讨论 ,在 [a. 候 区 间 上 的 勒 让 德 多 项 式 序列 {Bi,(1)} 可 根据 [一 1,1] 上 的 勒 让 德 多 项 
式 P(t) 得 出 , 即 
2t— (a+tb) 

Ba 

3. 用 正 交 攀 数 族 做 最 佳 平方 到 近 

前 面 介绍 了 正 交 函 数 族 的 概念 ,并 给 出 几 种 具体 的 正 交 多 项 式 。 下 面 考虑 将 正 交 函数 
族 作为 逼近 函数 空间 8$ 的 基 , 则 法 方程 (6. 12) 的 系数 矩阵 退化 为 对 角 和 矩阵 ,因此 可 直接 写 
出 方程 的 解 为 


Bi (1) Pi )， (k= 0 9) (6. 25) 


» _ 《f(2) ,g(t)) 
Cat) ,prt)) 


(k= 1,2,.,n) 。 (6. 26) 
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因此 ,最 佳 平 方 逼 近 函 数 为 


(f(D) ,p(n)) 
3 孙 Co pe 全 


S* (是 对 f(1) ECLa,6b] 的 一 种 近似 ,车 考虑 双 近 函数 空间 @ 为 无 穷 维 的 子 空间 ,如 所 

有 多 项 式 函 数 或 所 有 三 角 函 数 , 则 可 得 到 展开 式 
fy = Tot (6. 27) 
dl 

方程 (6.27) 是 f(1) 的 一 种 无 穷 级 数 展开 , 称 为 广义 传 里 叶 (Fourier) 展 开 , 其 中 的 x 
为 广义 傅 里 叶 系数 。 信 和 号 处 理 中 常用 的 傅 里 叶 展 开 是 一 个 特例 ,其 中 取 {mw (bo } 为 正 交 的 三 
角 函 数 序列 。 

例 6.3( 用 正 交 多 项 式 做 逼近 ) : 使 用 正 交 多 项 式 求解 例 6. 1 中 的 最 佳 平方 逼近 问题 。 


【 解 】 被 允 近 函数 Fo) = V1 十 尺 , 其 定义 域 为 [0,1], 则 首先 要 将 勒 让 德 多 项 式 扩展 到 
[0,1] 区 间 上 。 根 据 式 (6. 25) ,得 正 交 多 项 式 为 


Bil) = Pd) =1, BC) P23) Pi(2 一 1) 一 2 一 1 。 
直接 求 出 法 方程 的 解 为 
1 
方 | V1l+ed 
OBOD) hh ce 
(B, (1) ,B,C)) a 
0 


DB DY (HG 一 1) 下 V1+# (2 — Dd 
(BC By (2t—1,2t— 1) 1/3 
所 以 ,一 次 最 佳 平方 允 近 多 项 式 
Sr? (1) 一 1.147 十 0.213(2: 一 1) = 0.934 十 0.426t ， 
与 例 6. 1 的 计算 结果 完全 一 致 。 图 
小 结 ,用 正 交 函数 族 做 最 佳 平方 逼近 具有 如 下 两 个 优点 。 
(1) 计算 方便 ,算法 稳定 性 好 。 上 面 的 分 析 和 例子 说 明了 这 一 点 。 
(2) 便于 基 函 数 的 增加 、 删 除 。 这 一 点 从 式 (6. 26) 可 以 看 出 ,由 于 系数 的 计算 只 与 当前 
的 基 函 数 有 关 , 因 此 在 双 近 函数 表达 式 中 增加 ,删除 基 函 数 不 影 响 其 他 基 函 数 的 项 。 
最 后 补充 一 个 定理 (证 明 见 参考 文献 [45]) , 它 说 明 随 着 阶 次 盖 的 增 大 ,最 佳 平方 逼近 多 
项 式 收敛 到 被 逼近 函数 ,并 且 在 被 逼近 天 数 具有 一 定 光 滑 性 的 前 提 下 ,最 佳 平 方 逼 近 多 项 式 
还 能 达到 一 臻 逼近 (一 致 收敛 ) 的 效果 。 
定理 6.5: 设 f(t)EC[a,b],S; (是 Fo 的 最 佳 平 方 通 近 多 项 式 , 通 近 函 数 空间 为 
了 ,, 则 
(1) lim 上 SS 人 一 Fi | ;=0。 
(2) 车 了 六 (1)E CLa;,6j, 则 对 任何 e>0, 当 充分 大 时 ,有 


1S: (0 一 Fo |<-E. 
Na 


A 0.213 。 
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6.3 曲线 拟 合 与 最 小 二 乘法 


在 科学 与 工程 计算 中 ,常常 遇 到 大 量 带 有 误差 的 实验 数据 ,需要 将 这 些 数据 点 拟 合成 一 
条 函数 曲线 ,从 而 总 结 、 验 证 相关 物理 量 之 间 满 足 的 函数 关系 。 此 问题 被 称 为 曲线 拟 合 
(curve fitting) , 它 要 求 构造 一 个 不 必 严 格 满足 所 有 离散 数据 的 双 近 函数 (曲线 ) ,并 使 逼近 


误差 达到 最 小 ,如 图 6-6 所 示 。 这 在 统计 学 上 也 称 为 回 是 SO) 
归 分 析 (regression analysis) 。 x 


若 将 离散 数据 点 看 成 表格 函数 ,并 定义 表格 函数 的 
co- 范 数 .2- 范 数 ,曲线 拟 合 问题 即 最 佳 一 致 逼近 和 最 佳 
平方 逼近 问题 。 根 据 最 佳 平方 逼近 准则 进行 曲线 拟 合 的 
方法 称 为 最 小 二 乘法 , 它 使 数据 点 到 曲线 的 误差 平方 和 了 
最 小 ,应 用 广泛 。 若 逼近 函数 可 表示 为 一 组 基 函 数 的 线 “图 6-6 对 数据 点 进行 曲线 拟 合 ， 
性 组 合 ,只 需求 组 合 系数 ,这 种 问题 称 为 线性 最 小 二 乘 得 到 近似 函数 5 
(linear least square) 问 题 ,否则 为 非 线性 最 小 二 乘 问题 。 

本 书 仅 讨论 线性 最 小 二 乘 问题 。 


6.3.1 问题 的 矩阵 形式 与 法 方程 法 


假设 离散 数据 点 为 属 , 广 ),(G 王 1.2,…,m), 它 对 应 表格 函数 f(1)。 希 望 在 某 个 函数 类 
B= 二 span{g1(1) ,po (1),… ,gs(1)) 中 寻找 一 个 函数 S(1) ,使 得 它 与 7(Gz) 的 误差 总 体 上 达到 最 
小 。 这 里 要 注意 3 点 。 

(1) 表格 函数 f(7) 的 表达 式 是 未 知 的 , 当 (i 二 1,2,…,m) 固 定时 , 它 可 用 函数 值 向 量 
f=[fi,fi，… ,fmj" 表示 。 

(2) 所 有 定义 在 离散 自 变量 点 1;(i==1,2,…,m) 上 的 表格 函数 构成 一 个 线性 空间 ,不 同 
于 连续 函数 的 线性 空间 , 它 是 有 限 维 空 间 R”。 

(3) 若 只 考虑 自 变 量 点 1; 上 的 取 值 ,函数 类 $ 中 的 函数 也 都 是 表格 函数 ,它们 与 被 允 近 
函数 Fo) 的 区 别 是 它们 的 表达 式 已 知 ,为 多 项 式 等 较 简 单 的 形式 。 

由 于 在 自 变 量 点 4; 固定 的 情况 下 ,表格 函数 与 包含 其 函数 值 的 向 量 一 一 对 应 , 它 的 内 
积 .2- 范 数 自然 就 定义 为 对 应 向 量 的 内 积 .2- 范 数 。 假 设 表 格 函 数 定义 在 离散 自 变 量 点 4 
(i 三 1,2,…,m) 上 , 则 它 的 内 积 为 


AO AOI DI AIAINE 
i=1 


Ig) = [21gG)1. 
i=1 


最 小 二 乘 问题 是 求 SC0) ,使 得 SCD 一 /DD | 。 达到 最 小 , 即 部 [SG4) 一 六 了 最 小 , 它 


的 直观 意义 是 离散 点 (4 ,fi) 到 解 曲线 SG) 的 了 方向 距离 平方 和 最 小 。 注 意 , 这 个 误差 与 统 
计 学 上 的 均 方 误差 (也 称 为 均 方 根 误差 ) 有 关 , 均 方 误差 为 


pe Dsa) 一/ , 


‘i 


而 2- 范 数 为 
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从 向 量 与 矩阵 的 角度 看 ,上 述 最 佳 平方 逼近 问题 有 另 一 种 形式 。 定 义 和 矩阵 AER”" 为 
Gt) pl) pat) 


(12) polls) 1 Gals) 
| (6. 28) 
Bt) Ate tlt) 
它 的 第 j 列 为 表格 函数 gj (1) 对 应 的 向 量 , 则 表格 函数 
SCD) = >) zipj(D， (6. 29) 


i=! 


对 应 的 向 量 为 Ax, 其 中 x 二 [zi,zxso，……,xs]"。 所 以 ,最 小 二 乘 问题 就 是 求 向 量 x, 使 | Ax 一 
了 1， 达到 最 小 值 。 一 般 地 ,mm 二, 数据 点 比 要 确定 的 拟 合 参数 多 。 若 冯 =2 ,通常 可 求 出 唯 
一 解 , 使 得 拟 合 曲线 通过 所 有 数据 点 ,这 是 后 面 将 介绍 的 插值 问题 。 

脱离 曲线 拟 合 的 问题 背景 ,可 定义 如 下 一 般 的 线性 最 小 二 乘 问题 。 

定义 6.5: 设 已 知 和 矩阵 4ER”x" (mm 二 2) ,向 量 ER", 求 向 量 xER" ,使 得 | 外 一 4Ax | ， 
达到 最 小 值 。 这 个 问题 称 为 线性 最 小 二 乘 问题 , 记 为 

Mr (6. 30) 

满足 要 求 的 解 x 称 为 最 小 二 乘 解 。 

6.2.1 节 介 绍 的 法 方程 方法 具有 普遍 性 ,可 用 于 求解 线性 最 小 二 乘 问题 ,此 时 法 方程 
(6. 12) 中 的 函数 内 积 为 函数 值 向 量 的 内 积 。 若 记 表 格 函 数 gp; (7) 对 应 的 向 量 为 a;, 则 a; 是 
矩阵 4 的 第 i 个 列 向 量 (i=1,2,…,n) ,法 方程 (6.12) 的 系数 和 矩阵 为 


(aiq (da) … 《qdi)》 afa alas … aia， 
i T T di 
EC= 《ai Wi (as 105) : Me 人 人 et 二 
(aiq 》 (dasdn) … (ayan)》 aral dalas … ala, 
其 右 端 向 量 为 


(ai) aif 


(faz) alf 


b= =| .|=4'f. 


(fa,) WE 
所 以 ,需求 解 的 法 方程 为 
ATAx = ATf. (6. 31) 
事实 上 ,根据 一 般 的 线性 最 小 二 乘 问题 的 定义 (定义 6. 5), 即 考虑 求 多 元 函数 下 二 
上 Ax 一 了 3 的 最 小 值 问题 ,也 可 推出 方程 (6. 31) 。 而 且 , 定 义 (6. 5) 还 适用 于 超出 曲线 拟 合 
的 更 一 般 线性 回归 分 析 ,如 根据 一 系列 自 变量 和 因 变 量 值 的 组 合 拟 合 出 公式 FCz,y) 王 “十 
bz 十 cy 十 dzy( 其 中 ,ac 和 da 的 值 待 求 )。 只 要 拟 合 公式 为 待定 参数 的 线性 组 合 , 则 均 可 
看 做 线性 最 小 二 乘 问题 ,使 用 本 节 介 绍 的 方法 求解 。 
做 曲线 拟 合 时 ,只 要 离散 自 变量 ti (i 二 1,2,…,m) 上 定义 的 表格 函数 p17) ,go (1),…， 
名 (0 线性 无 关 , 格 拉 姆 矩阵 G 就 一 定 非 奇异 , 且 对 称 正定 ,因此 方程 (6. 31) 的 解 存在 并 且 
唯一 。 
下 面 给 出 用 法 方程 方法 求解 曲线 拟 合 问题 的 算法 。 
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算法 6.2: 用 法 方程 方法 求解 曲线 拟 合 的 最 小 二 乘 问题 

输入 : [1,2,… mj],f[1,2,… wmmj， 函数 gx (Dp (DD),… ,gs (DD); 输出 ; xz[1,2,…,n]. 
根据 式 (6. 28) 形 成 矩阵 A; 

= 

b:=A'™f; 

用 算法 3. 10 对 和 矩阵 G 进行 Cholesky 分 解 G==LLY; 

依次 执行 前 代 过 程 和 回 代 过 程 求解 方程 LLTx==b, 得 到 x 


用 法 方程 方法 进行 最 小 二 乘 拟 合 的 前 提 是 表格 函数 Pi (2) ,gs (1),… ,wo (0 线性 无 关 。 
考虑 定义 在 离散 自 变量 i (i 二 1,2,…,m) 上 的 表格 函数 形成 的 线性 空间 , 若 pl (i) 十 
az pa (ti) 十 十 angpn(ti) 二 0 (i 二 1,2,…,m) 当 且 仅 当 w= 二 mz 二 … 二 a 二 0 时 成 立 , 称 pi (1)， 
gz (7) ,… ,gn(1) 关 于 自 变量 点 ,ts，… ,tn 线性 无 关 , 否 则 它们 线性 相关 。 判 断 是 否 线性 无 
关 的 方程 为 

Gl) pf) … 和)] aa 


Pb) pb) … (ee) || as 一 站 


丽人 

其 中 ,等 号 左边 的 矩阵 为 4, 容易 看 出 表格 函数 om (0 ,gs(1),… ,g(t) 线 性 无 关 等 价 于 
矩阵 4 的 列 向 量 线性 无 关 , 此 时 称 和 矩阵 4 为 列 满 秩 的 。 在 这 种 条 件 下 ,根据 矩阵 理论 容易 
证 明 474 是 非 奇 异 的 , 它 与 定理 6. 2 的 结论 吻合 。 

注意 , 若 某 个 区 间 上 定义 的 连续 函数 说 (0 , 风 (0 ,4 (0 线性 无 关 , 则 它们 在 自 变 量 点 
但 ,2 加)} 上 对 应 的 表格 函数 未 必 是 线性 无 关 的 。 

例 6.4( 线 性 相关 的 表格 函数 ) : 当 1E[0,2x] 时 ,连续 函数 sint ,sin(21) 显 然 是 线性 无 关 
的 ,但 考查 自 变 量 取 值 (1 二 0,x,27) ,显然 这 两 个 函数 线性 相关 ,因为 它们 的 函数 值 均 为 0。 

要 判断 一 组 线性 无 关 函 数 pg1(7) ,gs (1),…, q(t) 是 否 关于 某 组 自 变 量 值 线性 无 关 , 需 
要 考虑 哈 尔 (Haar) 条 件 5 ， gi1(t) ,gs (1),… ,g(t) 的 任意 线性 组 合 在 一 组 至 少 有 7 个 不 同 
值 的 自 变 量 取 值 {4 ,ts;，…，, 加)} 上 至 多 有 7 一 1 个 不 同 的 零点 。 若 这 组 函数 对 至 少 有 ?7 个 不 
同 值 的 自 变量 取 值 {4 ,ts,，…, i ) 满 足 Haar 条 件 , 则 其 关于 该 组 自 变 量 点 就 是 线性 无 关 的 。 
一 般 地 ,考查 是 否 满足 Haar 条 件 非 常 困难 ,但 对 于 多 项 式 函 数 族 {1,1,…,w"), 易 知 它 对 任 
意 包 含 至 少 nn 个 不 同 值 的 一 组 自 变 量 点 都 满足 Haar 条 件 , 因 为 其 线性 组 合 为 n 次 多 项 式 ， 
最 多 及 个 不 同 的 零点 。 对 于 多 项 式 集合 P, 的 任意 一 组 基 函 数 ,在 类 似 条 件 下 也 满足 Haar 
条 件 ,这 说 明 可 以 放心 地 使 用 多 项 式 函 数 对 离散 数据 点 进行 最 小 二 乘 拟 合 。 而 采用 其 他 函 
数 时 ,并 不 总 能 保证 它们 对 点 集 是 线性 无 关 的 ,和 矩阵 4 可 能 列 不 满 秩 ,从 而 导致 方程 (6. 31) 
的 解 不 唯一 。 

例 6.5: 已 知 一 组 实验 数据 (ti,y;) (i 二 1,2,…,5) 见 表 6-2, 用 适当 的 函数 对 它们 进行 
拟 合 。 


表 6-2 一 组 实验 数据 (1;,y;) 


在 1.00 1. 25 1. 50 1.75 2.00 
Yi 5. 10 5. 79 6. 53 7. 45 8. 46 
Vy 1. 6292 1.7561 1. 8764 2.0082 2. 1353 
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【 解 】 将 数据 点 在 坐标 纸 上 标 出 ,根据 其 分 布 .大 体 上 可 确定 以 指数 函数 形式 描述 比较 
合适 : y 伟 x1e”' ,待定 参数 为 zk .zs 。 但 是 ,这 个 函数 形式 并 非 关 于 参数 mm .zs 的 线性 组 合 ， 
所 以 不 是 线性 最 小 二 乘 问 题 。 需 对 上 述 函 数 形式 加 以 处 理 , 转 换 为 可 由 基 函 数 的 线性 组 合 
表述 的 形式 。 两 边 取 对 数 得 lnys*lnzi 十 zzt。 同 时 令 yY=lny,z 王 Inzi , 则 需 拟 合 的 函数 形 
式 为 y= 一 2 十 zzt。 在 原 数 据 表 的 基础 上 添加 一 行 , 表 示 3;(i 二 1,2,…,5) 的 值 。 

此 问题 中 汶 ==5,n 二 2,g1(1) 二 1,gz (DO 一 上 用 式 (6.28) 构 造 矩 阵 4 及 向 量 f 为 


1 1.00 1.6292 

1 1.25 7561 
4 一 |1 1.5 |, f=|1.8764|, 

1 L728 2.0082 

1 2.00 2.1353 


列 法 方程 A"Ax 二 A"f 为 
5 7.5 T1] [ 9.4052 
a 1. 87] |= 的 ed ° 
解 得 | 二 1.1225,xs 二 0.5057, 所 以 得 到 zi 一 ea 王 3.0725, 数据 的 拟 合 曲线 为 
y = 3.0725ensos7 。 国 

对 上 述 例 子 说 明 几 点 。 

(1) 对 于 拟 合 函 数 表达 式 不 是 已 知 函 数 的 线性 组 合 的 情况 (如 例 6.5) ,可 将 函数 表达 式 
进行 变换 得 到 基 函 数 线性 组 合 的 形式 ,才能 使 用 线性 最 小 二 乘法 。 

(2) 在 例 6.5 中 ,实际 上 是 对 3 进行 了 最 佳 平方 逼近 ,因此 首先 要 对 原始 数据 改造 得 到 
3 的 值 。 同 时 注意 , 拟 合 的 结果 是 某 种 最 佳 双 近 , 但 已 不 再 使 离散 点 到 解 曲线 的 Y 方向 距 
离 平方 和 最 小 。 

对 于 离散 数据 点 中 包含 重复 自 变量 值 (甚至 重复 数据 点 ) 的 情况 ,仍然 可 以 构造 如 式 (6. 30) 
的 问题 形式 ,但 算法 6. 2 是 否 能 解 出 唯一 解 取决 于 矩阵 A 是 否 列 满 秩 。 在 某 些 情况 下 (如 采 
用 多 项 式 逼 近 函 数 ) ,可 以 根据 Haar 条 件 得 到 的 结论 判断 矩阵 4 是 否 列 满 秩 。 


6.3.2 用 正 交 化 方法 求解 最 小 二 乘 问题 


对 于 连续 函数 的 最 佳 平方 逼近 问题 , 当 ) 较 大 时 ,法 方程 方法 的 系数 矩阵 非常 病态 ,而 
且 求 解 的 计算 量 很 大 ,因此 采用 正 交 函 数 族 进行 逼近 。 在 曲线 拟 合 问题 中 ,法 方程 往往 也 具 
有 类 似 的 病态 性 ,而 且 计 算 474 会 放大 数值 误差 , 当 n 较 大 时 ,其 结果 准确 度 受 很 大 影响 。 
本 节 讨论 构造 正 交 基 函数 进行 曲线 拟 合 的 问题 ,重点 是 利用 5. 3 节 介 绍 的 矩阵 QR 分 解 ,得 
到 实用 、 有 效 的 算法 。 

对 于 定义 在 自 变量 点 i; (i 二 1,2,…,m) 上 的 表格 函数 ,6. 2. 2 节 介 绍 的 构造 正 交 函数 族 
的 Gram-Schmidt 过 程 依然 适用 。 在 做 曲线 拟 合 时 ,由 于 内 积 运算 依赖 于 具体 的 自 变量 点 
集 ,无 法 利用 勒 让 德 多 项 式 等 事先 已 知 的 正 交 函数 族 ,这 是 与 连续 函数 逼近 不 同 的 地 方 。 假 
设 根据 初始 的 表格 函数 pi (D ,gs(t),… ,p(t) ,经 过 正 交 化 过 程 得 到 一 组 单位 化 的 正 交 函 
数 { 册 (0 ,yr (2),… (2)), 则 曲线 拟 合 的 最 小 二 乘 解 为 


SC) = DD GD GH 。 (6. 32) 
i=1 


» 209 5 
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中 涉及 的 内 积 、 范 数 是 基于 自 变 量 点 1;(i 二 1,2,…,m) 的 表格 函数 内 积 、 范 数 。 
例 6.6: 对 例 6.5 中 的 线性 最 小 二 乘 问题 ,通过 Gram-Schmidt 过 程 构造 正 交 基 函 数 


y 
4 


【 解 】 对 此 问题 ,要 拟 合 的 表格 函数 取 值 列 于 表 6-3。 
表 6-3 要 拟 合 的 表格 函数 取 值 
ti 1.00 1.25 1.50 1.75 2.00 


Vi 1. 6292 1.7561 1.8764 2.0082 2. 1353 


原始 的 基 函 数 mo (2) 二 1,92(1) 二 +t。 正 交 化 过 程 如 下 : 


Pe 
q(t) |， V5 
7.5 


Jalt) = p(t) — (p(t) ,ph (tp) = t— (t,1/V5) ee | er th 
V5 9 


bo) t 一 1.5 


二 一 1.264911: 一 1.897 367。 
| (Co 1 ， 0.52 十 0.25? 十 0.25? 十 0.52 


内 (一 


再 计算 


5 
(fCD ,页 (D) = Dy = 4.206 133, 
i V5 


5 
(f(t) ,y(t)) = Dyidl. 264 911t; — 1. 897 367) = 0. 399 807。 
i=l 


所 以 ,根据 式 (6. 32) 写 出 拟 合 公式 为 
4. 206 133 


了 一 和 十 zzt + 0. 399 807 X (1.264 911:— 1. 897 367) 
V5 
=1.1225 十 0.5057t ， 
这 个 结果 与 例 6. 5 中 的 完全 相同 。 图 


更 一 般 的 、 实 用 的 方法 是 根据 定义 6.5, 利 用 矩阵 的 QR 分 解 实现 基 函 数 的 正 交 化 ,也 
就 是 表格 函数 对 应 的 向 量 的 正 交 化 。 下 面 详 细 介绍 。 

假设 任意 采用 一 组 基 函 数 {p (Ci) ,gs(7),… ,g(t)} ,根据 式 (6.28) 得 到 函数 值 矩阵 4， 
而 被 逼近 函数 对 应 的 向 量 为 帮 , 要 求 拟 合 系数 x, 它 使 得 | yj 一 4x | * 达到 最 小 值 。 借 助 矩阵 
4 的 QR 分 解 式 

A = QR, 

其 中 8 为 正 交 和 矩 阵 ( 维 数 为 mXm),R 为 上 三 角 和 矩 阵 ( 维 数 为 mXn), 则 有 
f—Ax =0Q0(0Tf— Rx). 
由 于 @ 为 正 交 矩阵 , ef 一 Ax ,二 ‖07f 一 Rx | ,因此 问题 转换 为 求 x, 使 得 | Cr 一 Rx | : 达 
到 最 小 值 。 将 Q 写成 1X2 分 块 矩阵 的 形式 (注意 ,一 般 zz>m,O=[LO， ,其 中 QER 


| Ri1 ER ,Rs 为 (m 一 n) Xn 的 零 矩 阵 , 则 


R 
(0 ER”™w-" ,而 将 RR 写成 ze 人 
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工 | | jw 
Rx = 一 人 
SE |e Ilr | or 
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根据 2- 范 数 的 定义 ,显然 有 


| 077 一 Rre ll 一 |orf—Rxl|i+ lol | oli. (6. 33) 
当 和 矩阵 4 列 满 秩 时 ,由 于 Ri 的 列 秩 也 是 n., 它 是 非 奇 异 方 阵 , 存 在 唯一 的 解 x* 满足 方程 
Rix’ 一 Of ， (6.34) 


此 时 , | 0 一 Rxr 1: 一 | 83f 1; 达到 了 最 小 值 。 

从 上 述 推导 看 出 ,只 需求 解 方程 (6. 34) 即 求 出 所 要 的 最 小 二 乘 解 。 而 根据 式 (6. 33) 很 
容易 算出 最 小 二 乘 拟 合 的 误差 。 在 实际 计算 中 ,Ci 了 是 8 的 前 ?个 分 量 形成 的 向 量 , 它 
在 将 A 正 交 化 为 上 三 角 和 矩阵 的 同时 可 以 得 到 ,而 求解 上 三 角 和 矩阵 为 系数 的 线性 方程 组 
(6. 34) 采 用 回 代 法 即 可 .下 面 给 出 利用 矩阵 的 QR 分 解 求解 曲线 拟 合 问题 的 算法 。 


算法 6.3: 利用 矩阵 的 QR 分 解 求解 曲线 拟 合 的 最 小 二 乘法 
输入 :11,2 ,10 ;L152,… wm]， 函数 9x00 ,00 加; 输出 ; xz[1,2,… nj. 
根据 式 (6. 28) 形 成 矩阵 A; 


用 算法 5. 3 将 4 正 交 三 角 化 得 到 和 矩阵 R, 同 时 将 正 交 变 换 作 用 于 向 量 ,得 到 /二 7 了 ; 
RR { 取 和 矩阵 R 的 前 行 } 


b :=f [1:n]; { 取 OFy 的 前 个 分 量 } 
执行 回 代 算法 3.2 求解 方程 Rix=b, 得 到 x 


下 面 用 一 个 例子 说 明 算 法 6. 3 的 实际 应 用 。 

例 6.7: 对 例 6. 5 中 的 线性 最 小 二 乘 问题 ,采用 算法 6. 3 进行 求解 。 

【 解 】 对 此 问题 ,要 拟 合 的 函数 形式 为 了 二 TX1 十 xzt, 拟 合 的 基 函 数 为 m (= 一 1， 
gz (7) 三 t, 和 矩阵 A 和 向 量 了 为 


1 1.00 1. 6292 
1 1.25 1.7561 
着 三 | Bs; | 64 
1 1.75 2. 0082 
1 2.00 2..1353 
用 Householder 变换 对 A 做 正 交 三 角 化 ， 
3. 236 068 
a =V5 = 2.236068, vi =a+t+ae=|l » Vv = 14 472136 3 
1 
使 用 向 量 wi 二 v1/ | vi 1; 构造 Householder 变换 ,算出 as 经 过 变换 后 的 结果 为 
一 3.354 102 
一 0.095 4915 
via 
al? = as—2 es vi 一 0.154 508 
0. 404 508 
0. 654 508 
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向 量 了 变换 后 结果 为 
一 4.206 133 
一 0.047 117 2 
(2) vif 
2 一 耻 一 2 Du — 0.073 182 8 
0. 204 983 
0. 332 083 
此 时 矩阵 4 为 
一 2.236 068 一 3.354 102 
0 一 0.095 4915 
冲 志 :三 | 让 0. 154 508 
0 0. 404 508 
0 0. 654 508 
做 第 二 次 Householder 变换 ,om 一 一 0.790 569， 
0 0 0 
一 0.095 4915 一 0.790 569 一 0.886 0605 
u 一 | 0.154508 |+| 0 一 | 0.154508 |, wiv, = 1.400983,， 
0. 404 508 0 0. 404 508 
0. 654 508 0 0. 654 508 
向 量 ,六 ”变换 后 结果 为 
一 4.206 133 
_ We 0. 399 807 
i i oF Dr = 0.004 750 13 
0. 000 951 283 
0. 001 952 69 
此 时 矩阵 4 变换 为 
一 2.236068 一 3.354 102 
0 0.790 569 
及 一 42 一 | 0 0 
0 0 
0 0 
根据 算法 6. 3, 需 求解 方程 Rix 二 5b, 其 中 
二 三 2.236 068 一 3.354 ed 4. 206 | 
0 0.790 569 0. 399 807 
解 得 x==[1.1225 0.5057] , 即 拟 合 公式 为 yY 王 1. 1225 十 0. 5057t, 它 与 例 6. 5、 例 6.6 得 到 
的 结果 一 样 。 而 


根据 表格 函数 与 其 函数 值 向 量 的 对 应 关系 可 证 明 ,算法 6. 3 与 通过 Gram-Schmidt 正 

交 化 过 程 求 最 佳 副 近 函 数 的 方法 在 数学 上 是 等 价 的 。 不 同 之 处 在 于 : 前 者 不 涉及 正 交 函 

数 族 ,直接 得 到 原 基 函数 对 应 的 拟 合 系 数 ;前 者 主要 计算 矩阵 的 QR 分 解 , 它 可 通过 

Householder 变换 或 Givens 旋转 变换 等 不 同方 法 实现 。 由 于 算法 6. 3 直接 利用 和 矩阵 的 
i 污 
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QR 分 解 的 特点 , 它 更 易于 实现 和 应 用 ,而 且 稳定 性 比 算法 6.2 好 。 最 后 说 明 一 点 , 若 初 
始 的 表格 函数 (0 ,go (DD,… ,gi( 四 线性 相关 ,和 矩 阵 4 不 是 列 满 秩 的 ,QR 分 解 也 能 进行 ， 
但 得 到 的 上 三 角 和 矩阵 Ri 奇异 。 可 以 证 明 ,这 种 情况 下 有 无 穷 多 个 最 小 二 乘 解 , 详 细 的 讨 
论 请 参考 文献 [1]。 


应 用 实例 : 原子 弹 爆炸 的 能 量 估计 


1. 问题 背景 

1945 年 7 月 16 日 ,美国 科学 家 在 新 墨西哥 州 Los Alamos 沙漠 试 爆 了 世界 上 第 一 颗 原 
子弹 ,这 一 事件 令 全 球 震 惊 。 但 在 当时 ,有 关 原 子弹 爆炸 的 任何 资料 都 是 保密 的 ,而 很 多 其 
他 国家 的 科学 家 非常 想 知 道 这 次 爆炸 的 威力 有 多 大 。 

两 年 之 后 ,美国 政府 首次 公开 了 这 次 爆炸 的 录像 带 , 而 其 他 数据 和 资料 仍然 不 被 外 界 所 
知 。 英 国 物 理学 家 G.I Taylor(1886 一 1975) 通 过 研究 原子 弹 
爆炸 的 录像 带 , 建 立 数学 模型 对 爆炸 所 释放 出 的 能 量 进行 了 估 
计 , 得 到 的 估计 值 与 若干 年 后 正式 公布 的 爆炸 能 量 21kt 相当 
接近 (1kt 为 1000 吨 TNT 炸 药 的 爆炸 能 量 ) 。 

Taylor 是 如 何 根据 爆炸 录像 估计 的 呢 ? 主要 是 通过 测量 
爆炸 形成 的 “蘑菇 云 ” 半 径 进 行 估计 的 ( 见 图 6-7)。 因 为 爆炸 
产生 的 冲击 波 从 中 心 点 向 外 传播 ,爆炸 的 能 量 越 大 ,相同 时 间 
内 冲击 波 传播 得 越 远 ,蘑菇 云 的 半径 就 越 大 。Taylor 通过 研 
究 录 像 带 ,测量 了 从 爆炸 开始 的 不 同时 刻 上 所 对 应 的 蘑菇 云 半 
径 r(1), 见 表 6-4。 图 6-7 “原子弹 爆炸 的 蘑菇 云 


表 6-4 蘑菇 云 的 半径 r(D) 


t r(1) t r(1) t r(t) t r(t) t r(t) 
0.10 lv 0. 80 34.2 1.50 44.4 3.53 61.1 15.0 106.5 
0.24 19.9 0.94 36.3 1.65 46.0 3.80 62.9 25.0 130.0 
0.38 25.4 1.08 38.9 1.79 46.9 4.07 64.3 34.0 145.0 
0.52 28.8 1.22 41.0 1.93 48.7 4. 34 65.6 53.0 175.0 
0. 66 31.9 1. 36 42.8 3. 26 59.0 4. 61 97. 3 62.0 185.0 


#4 的 单位 为 ms,r 的 单位 为 m。 

然后 通过 量 纲 分 析 法 建立 了 蘑菇 云 半 径 与 时 间 1 爆炸 能 量 已 的 关系 式 ,利用 上 述 数 
据 最 后 求 出 了 爆炸 的 能 量 。 

2. 数学 模型 

考虑 到 原子 弹 爆 炸 在 极 短 的 时 间 内 释放 出 巨大 的 能 量 , 蘑 奖 云 半径 主要 与 时 间 人 爆炸 
能 量 已 及 空气 密度 p 等 几 个 参数 有 关 。 通 过 仔细 分 析 这 几 个 量 的 单位 ,采用 量 纲 分 析 法 得 到 
如 下 的 蘑 兹 云 半径 的 近似 表达 式 : 
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其 中 rE 的 单位 分 别 为 米 (m)、 秒 (s) 和 焦耳 (]) ,而 200 


空气 密度 o 的 值 为 1. 25kg/ms 。 对 这 次 原子 弹 爆炸 180 上 二 
2 160 上 
来 说 , 巨 为 一 固定 值 ,因此 rr 与 5 成 正比 。 图 6-8 是 140 上 中 


根据 蘑 获 云 半 径 与 对 应 时 刻 的 数据 画 出 的 散 点 图 , 它 120 
大 体 反映 了 这 个 趋势 。 接 下 来 的 问题 是 如 何 求 未 知 100| + 
的 参数 瑟 。 网 加 

3. 求解 过 程 

首先 ,改写 蘑菇 云 半 径 的 公式 为 r 一 o 的 形式 ， 0 
通过 测量 数据 拟 合 出 参数 a 和 0, 验证 量 纲 分 析 法 得 0 和 四 和 和 区 的 70 
到 的 公式 。 要 做 线性 最 小 二 乘 拟 合 ,进一步 改写 公 " 
式 为 


图 6-8 蘑菇 云 半 径 与 对 应 时 刻 的 数据 


lnr = lna 十 olnz。 
根据 测量 数据 我 们 得 到 lnr 和 lnt 的 数据 ,将 它们 的 函数 关系 拟 合 为 一 次 多 项 式 , 得 到 系数 
0 一 0. 4094, 其 值 与 前 面 分 析 的 结果 2/5 非常 接近 ,从 而 验证 了 量 纲 分 析 得 到 的 公式 。 
为 了 更 准确 地 计算 爆炸 能 量 已 ,将 蘑菇 云 半 径 公 式 改 写 为 
nat 
5lnr 一 2lnt = m 人 (将 ] 让 
此 时 可 根据 测量 数据 得 到 5lnr 一 2lnt 对 应 的 一 组 数据 ,将 它 拟 合 为 0 次 多 项 式 ( 常 数 ) , 设 得 
到 的 拟 合 系数 为 c, 则 
Expe, 
根据 此 方法 算出 已 sz8. 6418X10 ,单位 为 焦耳 , 查 表 得 知 1kt 二 4. 184X102 本 ,因此 爆 
炸 能 量 约 等 于 20. 65kt。 


6.4 函数 插值 与 拉 格 朗 日 插值 法 


函数 插值 可 看 作 一 种 “特殊 ”的 函数 逼近 问题 ,其 盘 近 采用 的 “度量 ?准则 是 要 求 在 插值 
节点 处 误差 函数 的 值 为 0。 本 节 先 介绍 关于 插值 (interpolation) 的 一 些 基 本 概念 ,然后 讨论 
一 种 最 简单 的 多 项 式 插值 拉 格 朗 日 插值 法 。 


6.4.1 插值 的 基本 概念 


在 科学 与 工程 实践 中 ,经 常会 遇 到 给 离散 数据 点 配 曲线 的 问题 , 它 要 求 曲 线 严 格 通过 各 个 数 
据点 。 图 6-9 显示 了 一 个 这 样 的 例子 , 即 求 连续 函数 > 一 


y, (Wn 1). 
， P(z) ,使 它 的 函数 曲线 通过 离散 点 (zy ) ,Crmyy)，…， 
3PGD) (xs)s 
归纳 起 来 ,插值 主要 有 如 下 4 方面 用 途 。 
Go)0) (1) 画 出 一 条 通过 某 些 离散 点 的 光滑 曲线 。 
5 一 (2) 对 于 仅 给 出 一 些 离 散 点 上 函数 值 的 表格 函 


数 ,估算 未 给 出 的 中 间 点 的 函数 值 。 
(3) 快速 方便 地 估算 复杂 数学 函数 的 函数 值 。 
(4) 用 简单 函数 近似 复杂 或 未 知 的 函数 ,从 而 导 


图 6-9 ”插值 问题 示意 图 
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出 求解 非 线性 方程 .数值 积分 (或 求 导 ) ,微分 方程 等 问题 的 一 些 方 法 。 

第 一 方面 用 途 主要 在 机 械 设计 、 精 密 加 工 中 应 用 广泛 ,也 是 计算 机 图 形 学 的 重要 基础 ; 
第 二 ,三 方面 在 历史 上 曾 是 非常 重要 的 ,但 由 于 计算 机 等 其 他 有 效 计算 机 工具 的 出 现 ,逐渐 
被 人 们 淡忘 (实际 上 ,在 计算 机 的 内 部 程序 中 仍然 使 用 ) ;最 后 一 方面 用 途 说 明了 插值 在 数值 
分 析 数值 计算 中 的 基础 地 位 , 它 是 沟通 有 限 维和 无 限 维 问题 的 一 种 有 效 手段 ,基于 它 可 推 
导出 一 些 求解 无 限 维 空间 问题 的 数值 方法 。 

定义 6.6: 设 ziE[La,bj,(i 二 0,1,…,n) 两 两 互 不 相等 ,它们 对 应 的 函数 f(x) 的 值 为 
yoyy…w, 若 存在 函数 P(x) ECLa,b], 使 得 

P(xzi)=y, (i=0,]1,.,n) th. 35) 
成 立 , 则 P(z) 为 f(z) 的 插值 画 数 , 自 变 量 的 值 xo ,zi,… ,zx 称 为 插值 节点 ,包含 插值 节点 
的 区 间 [e ,多 为 插值 区 间 , 求 插值 函数 P(x) 的 问题 称 为 插值 问题 。 

不 同 于 曲线 拟 合 问题 ,插值 的 定义 要 求 已 知 数据 点 的 自 变量 值 互 不 相同 , 即 任意 两 个 插 
值 节点 都 不 重合 。 与 曲线 拟 合 问题 的 另 一 个 区 别 是 , 待 求 的 插值 函数 必须 严格 通过 给 定 的 
离散 数据 点 。 

考虑 插值 问题 时 ,一 般 插值 函数 中 待定 参数 的 个 数 等 于 数据 点 的 个 数 ,此 时 式 (6.35) 中 
方程 的 数目 与 未 知 量 的 数目 相等 ,往往 可 求 出 唯一 的 插值 函数 。 当 然 ,插值 问题 的 解 是 否 存 
在 并 且 唯 一 ,还 依赖 于 插值 函数 的 构造 方式 ,车 它 是 待定 参数 的 线性 组 合 , 则 方程 (6. 35) 转 
换 为 线性 方程 组 ,其 解 的 存在 性 、 唯 一 性 由 系数 矩阵 的 奇异 性 决定 。 

表 6-5 列 出 了 常见 的 几 种 插值 类 型 ,本 章 只 讨论 多 项 式 插值 与 分 段 插 值 。 三 角 插 值 与 
函数 的 离散 傅 里 叶 变换 有 关 , 是 信号 处 理 的 重要 技术 ,有 理 插 值 主要 采用 帕 德 (Pade) 近 似 
方法 ,这 些 内 容 超 出 了 本 书 的 讨论 范围 。 

表 6-5 常见 的 几 种 插值 类 型 


插值 函数 类 型 插值 问题 类 型 
代数 多 项 式 多 项 式 插 值 
分 段 多 项 式 分 段 插 值 
三 角 函 数 三 角 插值 
有 理 函数 (有 理 分 式 ) 有 理 插值 


6.4.2 拉 格 朗 日 插值 法 


拉 格 朗 日 (Lagrange) 插 值 法 是 最 基本 的 多 项 式 插值 法 ,下 面 首先 给 出 多 项 式 插值 问题 
的 描述 ,然后 介绍 拉 格 朗 日 插值 法 。 
1. 多 项 式 插值 
在 定义 6.6 中 ,车 要 求 插值 函数 P(x) 为 次 数 不 超 过 的 多 项 式 
P(x) 一 ao 十 az 十 … 十 ar 十 aozn， (6. 36) 
则 相应 的 插值 属于 多 项 式 插值 ,插值 函数 P(x) 称 为 插值 多 项 式 。 结 合式 (6. 35)、 式 


(6. 36) ,得 到 关于 多 项 式 系数 ao ,al,… ,as 的 2 十 1 阶 线性 方程 组 
ao 十 airzo 十 …… 十 anzo 一 yo 
Se (6. 37) 
7 hE se tl ts 


“LS 
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其 系数 矩阵 为 


1 zx 

这 种 形式 的 矩阵 称 为 范 德 蒙 德 矩 阵 (Vandermonde matrix) ,只 要 插值 节点 zo ,zi,…，zw 互 
不 相等 , 则 可 以 证 明 它 是 非 奇异 矩阵 。 有 两 种 证 明 思路 , 简 述 如 下 。 

(1) 采用 反 证 法 ,假设 4 为 奇异 矩阵 , 则 有 一 组 不 全 为 0 的 系数 ao ,al,…,as( 它 们 组 成 
向 量 a) ,使 得 Aa 二 0。 设 这 组 系数 对 应 的 多 项 式 为 P(x) , 则 

P(xzi) =0, (i=0,1,.,n), 

这 说 明 次 数 不 超 过 的 多 项 式 PCz) 有 2 十 1 个 不 同 的 零点 : zo ,TI ,… ,XT,， 显 然 违反 了 代数 
基本 定理 ,因此 产生 矛盾 。 这 证 明了 矩阵 A 非 奇 异 。 

(2) 推导 行列 式 det(4), 不 难得 到 

det(A) = JH (1 


由 于 msaa sa eva 互 不 相等 ,所 以 有 det(A) 基 0, 矩阵 4 非 奇异 , 且 方程 (6. 37) 的 解 存在 
且 唯 一 。 

由 于 和 矩阵 4 非 奇异 ,方程 (6. 37) 存 在 唯一 的 解 ,因此 有 如 下 定理 。 

定理 6.6; 在 次 数 不 超 过 ”的 多 项 式 集合 P, 中 ,满足 式 (6. 35) 的 插值 多 项 式 P(x) EP， 
存在 并 且 唯 一。 

2. 拉 格 朗 日 插值 法 

建立 方程 (6. 37) 并 求解 是 求 多 项 式 插值 的 最 基本 方法 ,但 这 需要 求解 稠密 矩阵 线性 方 
程 组 , 既 不 便于 计算 ,也 不 便于 理论 分 析 。 下 面 介绍 简便 的 方法 求 插值 多 项 式 。 

先 考虑 最 简单 的 w=1 的 情形 。 设 两 个 插值 点 为 xz .zati ,对 应 的 函数 值 为 w .wsi, 要 
求 多 项 式 函 数 Li Cz)EP, ,满足 


Li(z) = ys 

Li(zam) = ya 
由 于 一 次 多 项 式 Li (x) 的 几何 意义 是 直线 ,根据 解析 几何 知识 ,通过 两 点 的 直线 可 用 “两 点 
式 ” 公 式 表示 , 即 


TX— XH ek | 


Li(z) Yetle (6. 38) 


kT 
| AH Tk 


这 就 是 要 求 的 插值 多 项 式 。 式 (6. 38) 表 明 ,Li(x) 为 两 个 一 次 多 项 式 


NC 


的 线性 组 合 , 其 组 合 系数 分 别 为 函数 值 y 和 yx+1; 即 
Li(x) = yuli (x) + yal (x) 
也 就 是 说 ,对 于 两 个 插值 节点 的 一 次 多 项 式 插 值 .插值 函数 Li (x) 为 两 个 一 次 多 项 式 的 线性 组 
合 ,组 合 系数 恰好 是 插值 节点 的 函数 值 。 这 个 特点 可 推广 到 高 次 多 项 式 插 值 ,因此 得 到 拉 格 朗 
日 插值 法 。 
首先 列 出 式 (6. 39) 中 的 两 个 函数 ( 称 为 拉 格 朗 日 插值 基 函 数 ) 具 有 的 两 个 特点 。 
直到 


(6.39) 
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(1) 为 一 次 多 项 式 函 数 。 
(2) 在 两 个 插值 节点 上 的 取 值 比较 特殊 , 见 下 让 .一 交 这 禄 前日 尖 证 相关 台 
表 6-6。 推 广 到 n 放 1 的 情况 , 设 n 十 1 个 插值 节点 在 插值 节点 上 的 取 值 
为 zzz 它们 对 应 于 函数 值 yo ,yi ，…,y,， 


一 次 多 项 式 e+1 
希望 求 得 的 插值 多 项 式 函 数 L, (x) 为 不 超过 nn 次 的 
多 项 式 ,并 且 具 有 如 下 的 线性 组 合 形式 : 0 ° 
四 lr (x) 0 ¥ 
L,(z) = > ylilz), (6. 40) 
k=0 
其 中 插值 基 范 数 (x) (= 二 0,1,…,n) 类 似 地 满足 条 件 : 
(1) 为 nn 次 多 项 式 函数 。 
(2) 在 插值 点 上 有 特殊 的 取 值 , 即 
ce) = {0 ee (6.41) 
0，i 关 上 
显然 ,如 果 满 足 上 述 两 个 条 件 , 式 (6.40) 中 的 函数 L, (zx) 称 为 拉 格 朗 日 插值 多 项 式 , 就 
坟 自然 满足 插值 要 求 ,成 为 所 求 的 插值 多 项 式 。 
2 剩 下 的 问题 是 如 何 求 满足 式 (6. 41) 的 nn 次 多 项 式 


1[----/ 函数 L(x), 它 的 取 值 很 特殊 ,如 图 6-10 所 示 。 
-0 个 -一 由 于 在 除 zx; 外 的 其 余 插值 节点 上 如 Cz) 的 函数 值 
村 均 为 0, 因 此 可 设 它 有 如 下 的 表达 式 

/ (AED) K(z— Zo)(T— XT— XH) (TT) 
由 于 (z 一 zo)…(Z 一 Pi-i)(z 一 Zi) (一 To) 已 经 是 
n 次 多 项 式 , 所 以 为 待定 常数 。 注 意 ,参量 K 的 引入 
不 影响 已 满足 的 条 件 , 因 此 只 需 考虑 余下 的 条 件 . 即 由 (xi) 二 1, 确定 K 的 值 ,可 得 
1 


(Th CO— Xo) Th Oo TH Th CO TH) (TO) 
因此 得 到 插值 基 函 数 (x) 的 表达 式 为 


(TC— zo) (TO— TT— TH (一 Te) 
(不 一 Zoo) Th CO— TH Th Oo TH (Th Oo I) 


上 述 推导 用 到 一 种 常用 的 技巧 ,就 是 把 插值 要 求 ( 需 满足 的 条 件 ) 分 为 两 部 分 ,根据 易于 满 
足 的 那 部 分 条 件 先 构造 出 一 个 多 项 式 ,再 引进 少量 参数 ,通过 其 他 条 件 定 出 它们 的 值 。 
为 了 简化 表达 ,定义 ?十 1 次 多 项 式 wii (x): 


图 6-10 ”插值 基 消 数 一 4(z) 的 示意 图 


K 


lx) = (k=0,1,2,.,n) 。 (6.42) 


wn(z) = [[ (zx— xz), (6. 43) 
j=0 
则 
wn CT) Cs — oR a i 
结合 式 (6. 40) 和 式 (6. 42) ,得 到 拉 格 朗 日 插值 多 项 式 的 男 一 种 形式 : 
下 a (6. 44) 


7 
#9 (TO— XW (Xe) 
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算法 6.4: 用 拉 格 朗 日 插值 计算 函数 值 
输入 : xz[0,… ,nj,y[L0,… ,nj], xt; 输出 : yt. 
yi; 
or i=0, 1, ,nn 
temp :一 1; 
For j=0, 1,.°%, n, ji, 
temp :一 temp * (zxt—z[jj])/(z[Li]—z[Li)); 
End 
yt :一 yt 十 temp * y[i]; 
End 


算法 6. 4 给 出 了 利用 拉 格 朗 日 插值 计算 函数 值 的 过 程 ,其 中 数组 x、y 表示 插值 节点 和 
对 应 的 函数 值 ,zz 表示 输入 的 自 变 量 的 值 ,yi 为 其 对 应 的 函数 值 。 当 输入 值 xt 有 多 个 时 ， 
只 重复 上 述 算 法 过 程 即 可 。 但 当 输 入 值 很 多 时 ,上 述 算法 的 计算 效率 可 能 不 高 ,可 考虑 先 算 
出 插值 多 项 式 表示 为 式 (6. 36) 对 应 的 系数 ,然后 使 用 算法 1. 1 计算 多 项 式 函 数 的 值 。 


6.4.3 多 项 式 插 值 的 误差 估计 


插值 的 一 个 重要 用 途 是 估算 非 插值 节点 处 的 函数 值 。 下 面 讨论 利用 多 项 式 插值 计算 这 
个 函数 值 的 误差 。 

定理 6.7: 设 /(x) 为 定义 在 区 间 [a,5] 上 的 实 函 数 , 它 的 n 阶 导数 连续 , 即 FCz)E 
CLasbj, 且 fi?(x) 在 (a,6b) 内 存在 。 车 插值 节点 x; EL[a,6bj(i==0,1,…,n), 相 应 的 拉 格 
朗 日 插值 多 项 式 为 L, (x), 则 对 任何 xE [a. 人 ,插值 余 项 


. iid 3 
RT} fz) = (ts) CL 


其 中 ,EE (a,6b), 且 依赖 于 zz wz) 一 (z 一 zo)…(z 一 Tu) 。 
【证 明 】 证 明 过 程 可 分 为 两 步 。 
(1) 确定 R, (zx) 的 形式 。 
函数 R, (xz) 在 插值 节点 上 的 值 为 0, 即 R, (xi) 二 0,(i 二 0,1,…,n)。 因 此 ,可 设 R,(x) 为 
R,(z) = F(z) 一 Lo(z) = K(r)(r— zo)(r—r) = K(r)wn(zr), (6.46) 
其 中 ,K(xz) 为 一 个 待定 函数 。 
(C27 玉米 (w) 
给 定 的 值 ,x 关 zx;, (i 二 0,1,…,n) ,我 们 考查 一 个 辅助 函数 
9(b = Fi —Lt) — KG — z(t— zz)"(t— zr)。 (6.47) 
其 中 , 自 变量 是 上 E [a,6j,q(t) 有 以 下 两 个 性 质 : 
@ pg(D) 的 n 阶 导数 连续 , 即 pg(1)EC"[a,b],p”+ (1) 在 (a,0) 存 在 。 


we (6.45) 


@ p(t) 至 少 有 nn 十 2 个 零点 。 因 为 当 1 二 zxi(i 二 0,1,…,n),t 二 + 时 , 均 有 gp(1) 二 0 。 
通过 考查 p(1) 各 阶 导数 的 特点 ,可 将 K(x) 与 结论 公式 中 的 六 鲜 联系 起 来 。 首 先 


复习 高 等 数学 中 的 一 个 定理 一 一 罗 尔 (Rolle) 定 理 , 它 的 条 件 是 : f(x) 在 区 间 [a,b6] 上 连续 ， 
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在 (a,5) 上 可 导 , 且 Fo) 一), 则 有 结论 : 至 少 存在 一 个 点 sE (a,0) ,使 六 (6) 一 0。 由 罗 
尔 定理 可 推论 ,两 个 函数 零点 之 间 存 在 1 阶 导 数 零点 。 因 此 ,根据 “Pp(i) 至少 有 7 十 2 个 零 
点 ”的 事实 ,可 得 到 表 6-7 所 示 的 g() 各 阶 导 函数 的 零点 分 布 情况 。 

注意 : 罗 尔 定理 结论 中 的 导数 零点 属于 开 区 间 , 因 此 表 6-7 中 we (Ci (CR 一 1,2,…， 
n 十 1) 的 零点 各 不 相同 。 


表 6-7 9(D 各 阶 导 函 数 的 零点 分 布 情况 


零点 满足 的 方程 零点 数目 零 点 
g(t)=0 7 十 1 5 ,5 
GD))=0 n 人 ,名 1 
gp" (ti 一 0 1 名 +1.0 


上 述 推导 表明 ,gp”*? (7) 在 (a,6b) 内 有 一 个 零点 ,下 面 记 其 为 4。 对 式 (6. 47) 求 n 十 1 阶 
导数 ,得 
GD) = fH 0—K(r). (nt+1)!, 
这 里 利用 了 次 多 项 式 的 十 1 阶 导数 为 0 的 性 质 ,因此 


(8) = fr 的 一 Ko t+D!I=0 = KG)= LY, (0.48) 
?” (名 一 ; 0 下 TD ~ 


其 中 ,&€E (ea,0), 且 依赖 于 z, 因 为 zx 是 最 初 p(0 的 2 十 2 个 零点 之 一 。 将 式 (6.48) 的 结论 代 
入 式 (6.46) 即 得 到 要 证 明 的 式 (6. 45) 。 国 

式 (6.45) 称 为 拉 格 朗 日 插值 余 项 。 应 注意 的 是 ,定理 成 立 的 条 件 对 被 插值 函数 f(x) 的 
光滑 性 有 较 高 的 要 求 , 即 要 求 n 阶 导 数 连续 ,n 十 1 阶 导数 存在 。 另 外 ,虽然 插值 余 项 表达 式 
中 无 法 确切 知道 ,但 它 在 插值 节点 的 最 小 值 与 最 大 值 之 间 , 据 此 可 估计 插值 误差 。 

例 6. 8( 插 值 误 差 估 计 ) : 已 知 sin(0. 32) 王 0. 314 567,sin(0. 34) 一 0. 333 487,sin(0. 36) 一 
0. 352 274, 用 一 次 和 二 次 多 项 式 插值 分 别 计算 sin(0. 3367) ,并 估计 截断 误差 。 

【 解 】 由 题 意 取 zx。 二 0. 32, yo 二 0. 314 567,zri 一 0.34,y 一 0.333 487,xs 二 0. 36,y 一 
0. 352 274。 


先 做 一 次 多 项 式 插 值 , 仅 考虑 ro .zl 两 点 ， 
sin(0. 3367) AL (0. 3367) = yo 2 — (0.3367— zo) 
eC— 2 


=0. 314 567 一 xX 0.0167 = 0.330 365， 


其 截断 误差 为 
IROD |< 加 | -zr 1, 
其 中 ,Me —, We IG(z)|,; 因 f(x)=sint,f (x)= 一 sinzx; 可 取 Ms -ms | sinz| 王 sinzl < 
0. 34, 于 是 截断 误差 
| Ri1(0. 3367) | 过 证 X0.34X0.0167X0.0033 委 0.94X10s 。 
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用 二 次 多 项 式 插值 计算 得 
sin(0. 3367) ~L, (0. 3367) 


(x— xX) (2— zs) (| (TC— X07T— 1) 
Ey (Xo — TZ1) (Xo — Ti) 3 (xz1— xo) xi — rx) 2 (x3 = ZX0) xs =— Xi) 
i 0.7689X 10°% ,3.89 X10 
一 0. 314 567 Xo008 十 0.333 487X 一 0.0004 
W055 X10 
十 0.352 274 X 0_ 0008 
一 0. 330 374 。 


这 个 结果 与 6 位 有 效 数 字 的 正弦 函数 表 完 全 一 样 ,这 说 明 用 二 次 插值 准确 度 已 相当 高 。 其 
截断 误差 


| R, (x) < 各 | (zx—z)(z—z)(z— zr) |， 


其 中 ， 
Mi= max | f(x)|= cosro =1。 


z0<r<z 


于 是 ， 
| R; (0. 3367) | 到 Xx 0.0167 x 0.0033 Xx 0.0233 =0.21xXx10™%,。 国 


6.5 ”牛顿 插值 法 


6.4.2 节 介 绍 的 拉 格 朗 日 插值 法 具有 两 个 优点 : 一 是 公式 结构 对 称 ,便于 记忆 与 编程 ; 
二 是 便于 进行 理论 分 析 。 但 在 实际 应 用 中 ,如 果 增 加 或 减少 一 个 插值 节点 , 拉 格 朗 日 插值 法 
的 公式 变化 较 大 ,计算 不 方便 。 本 节 介 绍 另 一 种 构造 多 项 式 插值 的 方法 一 一 牛顿 插值 法 。 


6.5.1 基本 思想 


考虑 一 个 动态 的 插值 过 程 中 ,插值 节点 的 数目 是 逐渐 增加 的 。 每 次 增加 一 个 插值 节点 
时 , 需 以 某 种 方式 判断 计算 的 准确 度 , 若 满意 , 则 停止 计算 ,否则 再 增加 一 点 或 删 去 刚才 那 点 
后 再 增加 。 下 面 介绍 的 牛顿 插值 法 恰恰 可 方便 地 增加 或 删除 插值 节点 , 它 是 构造 插值 多 项 
式 的 另 一 种 重要 方法 。 

先 从 最 简单 的 情况 人 手 ,假设 只 有 一 个 插值 点 ze ,对 应 的 函数 值 为 f(xo), 则 得 到 的 零 
次 插值 多 项 式 为 

Pu(Cz) = f(z0)。 

如 果 增 加 一 节点 , 即 插值 点 zx 和 对 应 的 f(x1) ,下面 看 如 何 求 一 次 插值 多 项 式 Pi(x) 。 

根据 动态 增 减 插值 点 的 需要 ,可 以 Po(zx) 为 基础 ,再 根据 解析 几何 中 所 学 的 “点 斜 式 ” 构 
造 直线 方程 


1 far) + EL we = bt ty .6 
2 0 


和 


a 代表 一 个 常 系数 。Pi (z) 是 在 Pu(Cz) 基 础 上 增加 一 项 得 到 的 , 若 要 从 Pi(Cz) 变 回 Po (x)， 
则 删除 一 项 即 可 。 
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将 上 述 插 值 多 项 式 的 构造 方式 向 高 次 多 项 式 插值 推广 , 则 使 得 增加 或 删除 插值 节点 非 
常 方 便 。 假 设 前 个 插值 节点 zo ,zw ，,… ,x,-1 对 应 的 多 项 式 为 P,_1(z) ,增加 点 zx, 后 的 插 
值 多 项 式 为 P, (x) ,我 们 希望 有 类 似 于 式 (6. 49) 的 如 下 关系 : 

P,(z) = Pi(z)+ c(t— L060) "(zx — Xi)o (6.50) 

根据 这 个 式 子 的 特点 可 以 看 出 ,P,(z) 在 zo ,TI ,… ,Ts-1 处 与 P,_1(z+) 有 相同 的 取 值 , 自 
然 就 满足 了 前 n 个 点 的 插值 要 求 。 并 且 ,注意 式 (6. 50) 中 多 项 式 的 次 数 不 超过 ?。 琵 下 的 
问题 是 ,如 何 根 据 P, (xz,) 二 f(zx,) 的 条 件 求 出 待定 参数 c, 。 

递 推 地 应 用 关系 式 (6. 50) ,可 得 

P(r) = oa(rw— 2) (rT— T(E— Ta)s (6,51) 
此 插值 多 项 式 的 形式 不 同 于 拉 格 朗 日 插值 多 项 式 , 称 其 为 牛顿 (Newton) 捅 值 多 项 式 , 一 般 
记 海 N(xY 


6.5.2 差 商 与 牛顿 插值 公式 


1. 差 商 与 牛顿 插值 系数 

为 了 方便 地 确定 牛顿 插值 多 项 式 (6. 51) 中 的 参数 ci(k 二 0,1,…,n), 下 面 先 介 绍 差 商 
(也 称 为 均 差 ) 的 概念 。 

定义 6.7: 按 如 下 公式 定义 函数 F(z) 关 于 若干 插值 节点 的 人 阶 差 商 (A 一 0,1,2,…)。 

f(x) 关于 zi 的 0 阶 差 商 为 f[xi]: 


flzi] = f(r), (6. 52) 
f(x) 关于 zo ,zs 的 1 阶 差 商 为 FLzo ,zi]: 
flzo sxe] = 人 (6.53) 
以 0 


f(x) 关于 zz ze 的 k 阶 差 商 为 f[xo yxis*… ,zi],(k 二 2,3,……): 


ALzo zi ,xr] 一 FLzo,z…zesyzi 一 FLzozzei] 。 [| 


i 

关于 定义 6.7, 应 注意 下 面 4 点 。 

(1) 0 阶 差 商 是 函数 自身 ,1 阶 差 商 f[xo ,zj 是 函数 f(x) 在 区 间 [zxo ,xs] 上 的 平均 变 

(2) 一 般 的 & 阶 差 商 通过 低 1 阶 差 商定 义 [ 式 (6. 54)], 这 是 一 种 递归 定义 。 

(3) 定义 要 求 差 商 中 的 自 变 量 值 (插值 节点 ) 互 不 相等 ,否则 公式 中 分 母 为 0。 

(4) 在 式 (6. 54) 中 , 差 商 的 计算 依赖 于 插值 节点 的 排列 顺序 。 

差 商 有 一 个 重要 的 性 质 , 即 差 商 的 对 称 性 。 例 如 , 式 (6.53) 表 明 1 阶 差 商 中 两 个 自 变量 
的 位 置 是 可 以 交换 的 。 差 商 的 对 称 性 指 的 就 是 任意 改变 差 商 中 自 变量 的 顺序 ,都 不 会 改变 
差 商 的 值 。 类 似 于 1 阶 差 商 ,考查 2 阶 差 商 fLzs ,zi'zz], 由 相同 一 组 插值 节点 还 可 得 到 其 
他 5 休 汪 阶 差 商 2 [zomzsszr jfLevszovrs js flevxszls /lis | Fly 
通过 简单 的 计算 ,发 现 这 6 个 2 阶 差 商 是 相等 的 。 也 就 是 说 ,2 阶 差 商 的 值 与 自 变 量 的 排列 
位 置 无 关 , 即 具有 对 称 性 。 下 面 通过 两 个 定理 说 明 一 般 的 差 商 的 对 称 性 。 

定理 6.8: 函数 f(x) 关于 插值 节点 zo,z ,… ,zs 的 k& 阶 差 商 满足 
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大 
i (6. 55) 
2 耳 (B= m0) 
1=0,1#j 
有 大 ) pe 
即 ALzo zi，…yzi] = 可 其 中 ora(7) 为 式 (6. 43) 定 义 的 4 二 1 次 多 项 式 。 
k+l 


【证 明 】 采用 数学 归纳 法 。A=1 阶 时 , 式 (6. 55) 显 然 成 立 。 下 面 看 从 & 阶 的 结论 如 何 
推 到 十 1 阶 。 

考虑 定义 在 点 zo ,Tl ,Th-1oTk Xat1 上 的 上 十 1 阶 差 商 的 计算 ,根据 定义 , 它 通过 两 个 
kk 阶 差 商 [zo ,zi ,ziyzeti] 和 FLzoyz,…,zb 计 算 。 若 & 阶 差 商 满足 式 (6. 55) , 则 


所 Fr) 
并 1 = 之 未 = (6.56) 


| He — zx1) 


pe 
大 
人 (6. 57) 
I TI cx = 
1=0 
Uj 
再 看 fLzos zi ,Zit+i], 由 它 的 定义 得 
a ] FL[ zos rin si ,Tht | fzor ri sx, (6.58) 
TH Tk AH Tk . 


其 结果 可 看 成 是 f(x;),j 二 0,1,…,k 十 1 的 线性 组 合 ,我 们 先 看 f(x),j 二 0,1,…,k 一 1 对 
应 的 组 合 系数 ,将 式 (6.56) . 式 (6.57) 代 入 式 (6. 58) ,得 到 这 些 组 合 系数 为 


1 1 
AI 四 
[I —z)] rm — xz) [I < zd ] (rm — za) 
A 7 
1 Ck Dt C2 1 
XH CO— zh k+l 对 1 
[I — x) TI 一 z) 
1=0 1=0 
zj 1 
符合 要 证 明 的 目标 。 
再 看 结果 中 f(z) 对 应 的 组 合 系数 ( 即 j= 二 的 情况 ), 它 由 FLzo ,zi,，…'zo] 贡 献 
N= 1 
XT 二 = k+l . 
TI ZX1) HE I ZX1) 
1=0 1=0 
Lk ea 


同 理 , 可 求 出 FCzea ) 对 应 的 组 合 系数 为 


1 
nl (1 i 


ra 


它们 都 符合 要 证 明 的 公式 的 形式 , 即 


i 
Me Tl 一 区 ) 
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由 于 A 十 1 阶 差 商 满足 方程 (6. 55) 的 表达 式 ,再 根据 数学 归纳 法 原理 , 原 命题 得 证 。 国 
由 于 式 (6. 55) 等 号 右边 的 值 与 自 变量 的 顺序 无 关 , 因 此 可 证 明 差 商 的 对 称 性 。 
定理 6. 9( 差 商 的 对 称 性 ) : 差 商 的 值 与 其 中 自 变量 的 顺序 无 关 , 即 
Fla raed =, Navn 
根据 差 商 的 对 称 性 ,以 及 差 商 的 定义 式 (6. 54) ,得 到 计算 差 商 的 重要 公式 ， 
ee ee ee | _ (6.59) 


人 一 00 


flzo sri ,zi 
更 一 般 地 ,计算 k 十 1 个 节点 的 有 阶 差 商 时 ,从 这 十 1 个 节点 中 任 选 上 个 得 到 两 个 不 同 
的 & 一 1 阶 差 商 ,再 类 似 于 式 (6. 59) 进 行 计算 即 可 。 
实际 计算 差 商 时 ,通常 按 阶 次 从 低 到 高 依次 计算 ,并 且 根 据 式 (6. 59) 可 列 出 差 商 表 计 
算 , 见 表 6-8。 
表 6-8 利用 差 商 表 的 形式 计算 各 阶 差 商 


zk fx) 1 阶 差 商 2 阶 差 商 3 阶 差 商 4 阶 差 商 

To f(zo) 

nm | Fn) flzo ,x1] 

ze fz2) flz1 ,zz] | 

x flzs) FL] | flzo sx1 ,zx2 ,x3] 

x fr) flzs ,x4] flz; ,zs ,x4] [ziyzrayzsyzi] | FLzoyziyzsyzsyzt] 


在 差 商 表 中 ,每 个 表 项 都 根据 紧邻 的 左 侧 表 项 和 左上 方 表 项 计算 而 得 , 按 从 上 至 下 的 顺 
序 逐 行 计算 。 
基于 差 商 的 概念 和 定理 6. 9, 下 面 看 如 何 计算 牛 顿 插值 中 的 参数 co。 首 先 ,co 二 f(z) 二 
f[zoj, 为 0 阶 差 商 。 而 
Pi(xz) = FLzo] 十 caCz 一 zo)， 
将 Pi(Czi)=ACzi) 代 入 式 (6.59) 可 求 c ,得 
flxij = FLzoj+cGCz 一 zo) SS a= flror], 
这 说 明 ci 为 1 阶 差 商 。 
采用 同样 的 推导 ,可 得 出 co 二 /Lzxo ,zi ,zsj, 更 一 般 地 , 易 证 明 
Cs: = FLioszir a), (6. 60) 
即 牛顿 插值 系数 就 是 差 商 表 6-8 中 那些 有 下 夯 线 的 元 素 ,由 此 得 到 了 nn 次 牛顿 插值 多 
项 式 : 
N(x) = flzo d+ flzo sxi zm zo) 二 二 flzo sri Ta Jr ro) (ro— ri) 。 
(6.61) 
上 述 推导 过 程 表 明 N, (xz) 满足 在 点 xo ,x1，,… ,zs 上 给 定 的 插值 要 求 。 
例 6.9( 牛 顿 插值 与 拉 格 朗 日 插值 的 计算 ): 设 有 3 个 数据 点 (一 2, 一 27),(0, 一 1)， 
(1,0) ,分 别 采用 牛顿 插值 法 与 拉 格 朗 日 插值 法 求 二 次 插值 多 项 式 。 
【 解 】 首先 做 牛顿 插值 , 差 商 表 见 表 6-9。 
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表 6-9 差 商 表 

zh fn) 1 阶 差 商 2 阶 差 商 
一 2 二 于 

0 一 1 13 

1 0 1 —4 

写 出 牛顿 插值 多 项 式 为 
Ni(x) =—27+13(z+2) 一 4(z 十 2)z 一 一 4z2 十 5 一 1。 
再 用 拉 格 朗 日 公式 进行 推导 ,得 
Le(z) 一 27X 一 这 人 于 一 1X 仆人 人 一 一 4 节 十 5z 一 1。 
国 


上 述 计算 表明 两 种 插值 方法 得 到 的 结果 完全 相同 。 


2. 牛顿 插值 余 项 公式 
根据 牛顿 插值 公式 ,还 可 推出 多 项 式 插 值 余 项 的 男 一 种 形式 。 设 rE€[a,b], 目 x 六 i 


(i 二 0,1,…,n)。 根 据 差 商 定义 及 式 (6.59) ,依次 列 出 如 下 相 邻 阶 差 商 满足 的 关系 式 : 


jz) = f(x0) + flzrsrol(z — 0) 
flzsxo) = flzoszi dt fliyrzoszi (rz— 71), 
fl zo ,zi] 一 fLzo ,ziyzz] 十 flz,zo ,zlyzz]( 工 一 zz)， 


flzxsross ze) = flroszios Tt fxror zis zn (LO— Te) 。 


将 上 述 方程 从 后 往 前 逐个 代入 ,得 
f(x) 一 xzo) 十 FLzoz](z 一 zo) 十 FLzoyziyzz](z 一 zo)(z 一 zi) 十 … 十 
flzo sri xa xO— zo) (TO— rei) 
王 Ni(Cz) 十 FLzzosceyzo](z 一 如) (7 — za)。 
根据 插值 多 项 式 的 存在 唯一 性 (定理 6.6) 可 知 ,对 相同 的 z 十 1 个 插值 节点 ,应 有 L(x) 三 


NN, (zx) ,因此 得 到 多 项 式 插值 余 项 的 另 一 种 形式 : 
(6. 62) 


RR(Z) = FLzyzoyziyZa] (xO— xo) (zr— 7x) 一 FLzizoyz yza]os(z)， 


FF FLzyzoyza wyzo]( 工 一 Zoo) mv( 工 一 ro) 


称 其 为 牛顿 插值 余 项 公式 。 
对 比方 程 (6.45) 和 方程 (6.62) ,得 
nt1) 
Ee Ea i EE (qb) , 


由 的 任意 性 还 可 推论 出 
flzosz1s za] = 8, (C663) 
其 中 ,zx;E[a,bj,&E (a,b), 上 且 依赖 于 mm 的 取 值 。 式 (6. 63) 也 是 差 商 的 一 条 重要 性 质 。 
关于 牛顿 插值 余 项 ,说 明 以 下 两 点 。 
[0 时, 拉 格 朗 


(1) 当 函 数 f(z) 不 够 光滑 ,f”*? (x) 不 存在 时 ,或 f(x) 本 身 的 表达 式 未 久 


日 余 项 公式 无 意义 ,而 此 时 用 牛顿 插值 余 项 公式 估计 误差 是 一 个 可 能 的 选择 。 
(2) 牛顿 插值 余 项 的 一 个 较 实际 的 应 用 是 ,根据 差 商 大 小 判断 插值 阶 数 & 是 否 合适 ( 若 


。 224 。 
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更 高 阶 差 商 之 0) ,从 而 自动 选 一 个 不 太 大 的 阶 数 ,同时 保证 较 高 的 精度 。 
例 6.10( 牛 顿 插值 余 项 ): 表 6-10 中 给 出 一 些 离散 点 上 的 f(z) 函 数值 , 求 合适 阶 数 的 
牛顿 插值 多 项 式 ,由 它 计算 f(0.596) 的 近似 值 ,并 估计 误差 。 


表 6-10 一 些 离散 点 上 的 f(x) 的 函数 值 


i FC) 1 阶 差 商 2 阶 差 商 3 阶 差 商 4 阶 差 商 5 阶 差 商 
0. 40 0.410 75 
0. 55 0.578 15 1. 116 00 
0.65 0. 696 75 1. 186 00 0. 280 00 
0. 80 0. 888 11 1.275 73 0. 358 93 人 197.33 
0. 90 1.026 52 1.384 10 0. 433 48 0.213 00 0.031 34 
1.05 1. 253 82 1. 515 33 0.524 93 0. 228 63 0.031 26 一 0.000 12 


【 解 】 按 差 商 计算 表 的 形式 将 各 阶 差 商 填 入 表 中 。 从 中 看 到 4 阶 差 商 近似 常数 ,5 阶 
差 商 的 值 非常 接近 0, 故 取 4 次 插值 多 项 式 N,(x) 做 近似 ,得 到 
Ni(z) =0.41075 二 1.116(x—0.4) 二 0.28(x—0.4)(z—0.55) 十 
0.197 33(z 一 0.4)(z 一 0.55)(z 一 0.65) 十 
0.031 34(z 一 0.4)(z 一 0.55)(z 一 0.65)(z 一 0.8)， 


于 是 
f(0.596) 2 Ni(0.596) = 0.631 92 。 
对 它 估计 截断 误差 ， 
| RiCx) |o| FLzozl， ,xs Jws (0.596) | 委 3.63X10， 
这 说 明 截 断 误差 很 小 ,可 忽略 不 计 。 国 


在 这 个 例子 中 ,被 插值 函数 是 以 表格 的 形式 给 出 的 ,因此 无 法 根据 拉 格 朗 日 插值 余 项 估 
计 多 项 式 插值 的 误差 。 而 由 于 f(z) 未 知 ,牛顿 插值 余 项 实际 上 也 不 能 计算 出 来 ,但 可 以 进 
行 大 概 的 估计 。 有 两 种 策略 估计 牛顿 插值 余 项 。 

(1) 设 Ns (zx) 是 准确 值 , 则 Ns (zx) 的 误差 为 

Ns(z)— N(x) = flzo sr xs (rT— Xo (XT— X(Tz— ZX) (rT— Zr) (zr— zx), 
此 时 车 f[Lxo ,xi ，… ,xs] 守 0, 则 说 明 误 差 很 小 ,可 根据 它 选择 插值 的 阶 次 有 。 

(2) 先 根据 Ni (xz) 算出 f(x) 的 近似 值 ,再 由 它 算 f[z,xo，… ,x,j, 从 而 得 到 余 项 估计 。 

这 两 种 策略 都 有 一 定 的 合理 性 ,但 结果 可 能 差别 很 大 。 例 题 6. 11 采用 的 是 策略 (1) , 若 
采用 策略 (2) , 则 得 到 不 同 的 结果 。 

在 本 节 的 最 后 , 列 出 根据 n 十 1 个 插值 条 件 f(z) 二 yi(k 二 0,1,…,n), 求 插值 多 项 式 的 
3 种 方法 ,然后 进行 比较 。 

(1) 待定 系数 法 。 假 设 插值 函数 为 p, (zx) 二 ao 十 aizx 十 … 十 asx" ,通过 求解 2 十 1 阶 线 性 
方程 组 得 到 待定 参数 的 值 。 

(2) 拉 格 朗 日 插值 法 。 直 接 写 出 多 项 式 公式 : 


| 一 Dy ylilz) o 
k=0 


。 225 。 
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(3) 牛顿 插值 法 。 先 计算 差 商 ,然后 写 出 插值 公式 : 

N(x) = 一 F(zo) 十 FLzo,z jz 一 zo) 十 FLzozz](z 一 zo)(z 一 zi) 十 … 十 
FLzoyz rn XO— zx) (TO— re) 

由 于 多 项 式 插值 的 唯一 性 ,这 3 种 方法 得 到 的 结果 是 相同 的 多 项 式 , 但 结果 的 形式 与 求 
解 过 程 不 同 。 从 在 多 项 式 函 数 空间 忆 ,中 求 某 个 特定 元 素 的 角度 看 ,一 旦 选 定 了 线性 空间 的 
基 函 数 , 求 插值 函数 的 问题 就 转换 为 求解 与 基 范 数 匹配 的 一 组 线性 组 合 系数 。 待 定 系数 法 
使 用 最 简单 的 单项 式 函 数 基 {x*} ,而 后 两 种 方法 使 用 了 不 同 的 基 函 数 。 待 定 系 数 法 构造 出 
的 系数 矩阵 为 范 德 蒙 德 矩 阵 ,” 较 大 时 是 病态 矩阵 ,因此 不 但 求解 过 程 计算 量 大 ,而 且 计 算 
误差 大 ; 拉 格 朗 日 插值 法 得 到 的 系数 矩阵 为 单位 矩阵 ,因此 没有 求解 线性 方程 组 的 计算 量 ， 
但 利用 插值 多 项 式 求 未 知 点 处 函数 值 时 计算 较 复杂 ;牛顿 插值 法 的 基 函 数 使 得 系数 和 矩阵 为 
下 三 角 和 矩阵 ,因此 待定 参数 可 按 顺 序 依次 求 出 (不 需要 高 斯 消去 过 程 ), 它 还 具有 便于 动态 
增 \ 减 插值 节点 的 优点 。 感 兴趣 的 读者 可 进行 详细 分 析 , 比 较 拉 格 朗 日 插值 和 牛顿 插值 在 计 
算 未 知 点 处 函数 值 时 计算 量 有 何 区 别 。 


6.6 分 段 多 项 式 插 值 


本 节 首 先 分 析 高 次 多 项 式 插值 的 缺点 ,然后 介绍 分 段 线性 插值 ,分 段 埃 尔 米 特 插值 和 保 
形 分 段 插 值 3 种 分 段 多 项 式 插值 。 


6.6.1 高 次 多 项 式 插 值 的 病态 性 质 


前 两 节 介 绍 的 多 项 式 插值 通过 构造 单个 多 项 式 ,满足 所 有 的 插值 要 求 , 得 到 的 插值 函数 
光滑 性 好 ,易于 进行 理论 分 析 。 当 插值 节点 较 多 时 ,构造 出 的 高 次 多 项 式 往往 有 如 下 3 方面 
缺点 。 

1. 收敛 性 差 

若 不 假 思 索 , 人 们 可 能 认为 插值 多 项 式 的 次 数 越 高 ,其 台 近 f(x) 的 准确 度 越 好 ,但 实 
际 上 并 非 如 此 。1901 年 ,德国 数学 家 龙 格 (Runge) 发 现 了 一 个 问题 ,他 给 出 一 个 函数 ( 称 为 
龙 格 函数 ) 


了 


dn 


在 [一 5,5] 上 取 十 1 个 等 距 插值 节点 ; x 一 一 5 十 10 (一 0,1,2,… ,nn) ,做 等 距 节点 的 拉 
格 朗 日 插值 


L(x) = 2 I 。 
通过 观察 与 严格 证 明 , 龙 格 发 现 了 如 下 现象 : 
Crs [|z |e 
不 收敛 ， |z| > ec” 
其 中 常数 cz3.63。 也 就 是 说 ,对 某 些 x 取 值 ,L, (x) 并 不 随 着 n 的 增加 收敛 到 f(x)。 这 种 现 
象 称 为 龙 格 现象 。 当 然 , 当 x 的 值 为 插值 节点 时 ,一 定 有 上 , (zx) 二 f(x), 但 对 于 不 是 插值 节点 
。226 。 
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的 zx, 两 者 之 差 可 能 很 大 ,误差 不 会 收敛 到 0。 图 6-11 显示 了 龙 格 函数 ,以 及 相应 的 5 阶 、10 阶 
拉 格 朗 日 插值 函数 Ls(z)、Lao(z)。 从 中 看 出 ,在 靠近 区 间 两 端 处 ,插值 多 项 式 的 误差 非常 大 。 


2.0[F i 
用 1 

1 1 
ee) 1 

1.5| ! 
| 一 -一 Ls() | 

一 -~ Lio) 1 

1.0 上 


fx) 


1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
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图 6-11 等 距 节 点 插值 的 Runge 现象 


事实 上 ,对 很 多 函数 进行 等 距 节 点 多 项 式 插值 都 存在 类 似 的 不 收敛 现象 。 当 然 ,如 果 可 
以 自由 选择 插值 节点 (如 切 比 雪夫 点 ) , 像 本 书后 面 介绍 的 数值 积分 或 求解 微分 方程 ,还 是 可 
能 保证 高 次 插值 收敛 性 的 。 此 外 ,6. 1.2 节 介 绍 了 伯 恩 斯 坦 多 项 式 B,( 太 ,z) 可 任意 地 逼近 
f(x), 应 注意 它 与 多 项 式 插值 函数 L, (x) 是 不 同 的 。L, (xz) 在 n 十 1 个 插值 节点 处 与 
f(x) 有 相同 的 函数 值 ,但 当 n 一 吕 时 未 必 收 全 到 f(x);B,(f ,zx) 并 不 在 一 些 点 上 与 f(x) 取 
值 相同 ,但 当 >~c=o 时 一 致 收敛 到 f(x) ,虽然 收敛 速度 很 慢 。 

2. 保 凸 性 差 

实际 应 用 中 遇 到 的 一 些 曲线 的 凸 性 是 确定 的 ,如 飞机 机 辟 等 的 几何 造型 问题 。 若 根据 
多 个 插值 点 构造 高 次 多 项 式 插值 ,得 到 的 曲线 往往 有 许多 不 该 有 的 多 余 拐 点 (曲线 的 起 伏 )， 
违背 了 原 有 曲线 的 凸 性 要 求 。 图 6-12 也 能 反映 这 一 点 。 

3. 数值 稳定 性 差 

6.4.2 节 的 分 析 表 明 , 多 项 式 插值 问题 在 数学 上 等 价 于 线性 方程 组 求解 问题 ,由 于 高 阶 
范 德 蒙 德 矩阵 是 病态 的 ,因此 求 插值 多 项 式 系数 的 问题 也 是 病态 的 0。 它 意味 着 , 较 小 的 输 
和 数据 扰动 将 导致 较 大 的 结果 误差 。 即 便 采 用 拉 格 朗 日 插值 法 ,确定 基 函 数组 合 系数 是 良 
态 问题 (直接 等 于 函数 值 ) ,但 其 计算 具体 一 点 函数 值 的 公式 也 是 不 稳定 的 ,只 要 某 一 个 插值 
节点 函数 值 有 误差 ,就 会 影响 整个 区 间 插 值 函 数 的 计算 值 。 


6.6.2 分 段 线性 插值 


从 图 6-12 可 看 出 ,如 果 将 Lio(x) 对 应 的 插值 数据 点 依次 连 起 来 ,得 到 的 折线 显然 比 
Li (zx) 更 能 允 近 f(x) ,这 种 折线 对 应 的 函数 就 是 分 段 线性 插值 函数 .本 节 讨论 与 它 有 关 的 问题 。 

设 已 知 实 函 数 f(z) 在 插值 节点 zx 上 的 函数 值 为 fi(i==0,1,2,…,n) ,这 里 不 妨 设 一 
zo<zr<…<z 一 0。 根 据 这 些 插值 数据 点 构造 出 的 分 段 线 性 插值 函数 (piecewise-linear 
interpolating function) 1, (xz) 在 小 区 间 [xj zs 上 的 值 为 


(x) ZH fi 一 四 0 
了 


Ti Ti Titl 


中 ”对 于 插值 问题 ,这 里 将 问题 的 病态 性 与 算法 的 稳定 性 一 起 加 以 考虑 。 
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由 此 可 得 到 1, (x) 的 分 段 函 数 表示 形式 。 在 整个 区 间 [a,6] 上 ,T(x) 也 可 表示 为 如 下 基 范 
数 的 线性 组 合 形式 : 
1,(x) = Spa 


Ls %= 


其 中 , 基 函 数 i; (zx) 满足 条 件 Lj (x4) 二 ,其 具体 公式 如 下 : 
0， kj 


一， zj 之 z+ 之 (j= 0 时 略 去 此 项 ) 


A 

bz) 一 xh ， Xj 忒 XT 过 zin(j 二 nn 时 略 去 此 项 )。 (6..64) 
一 
0， rE[abl,r Es | 


图 6-12 显示 了 基 函 数 lo(x) 与 (zx),(j 了 0,n) 的 示意 图 ,L(x) 的 图 形 与 lo(x) 的 图 形 
类 似 。 显 然 ,分 段 线性 插值 函数 L(x) 及 其 基 函 数 有 如 下 性 质 。 

(1) L(xz)ECLa,b]。 

(2) Ii (zi)=fi(k=0,1,%,n)。 

(3) Ii(z) 在 每 个 小 区 间 [xi ,zir1j 上 是 一 次 多 项 式 。 

(4) 分 段 线性 插值 的 基 瑟 数 (xz) 只 在 zs 附近 不 为 零 ,在 其 他 地 方 均 为 零 ,具有 局 部 非 


玉 Eg 
WO Wh=sesesss 
1F 0(X) 1 Le) 
| 
1 
WS EN 1 L 1 hn h a 1 i 
Olxox Nl DX 汤 x ED RDNXH Mh 
(a) Io(x) (b) L(x) 


图 6-12 分 段 线性 插值 的 基 函 数 


因为 在 每 个 小 区 间 内 ,分 段 线性 插值 的 误差 为 一 次 多 项 式 插值 的 余 项 ( 拉 格 朗 日 插值 余 
项 公式 ) ,因此 可 得 到 分 段 线性 插值 的 误差 估计 式 。 对 Yr€ [x ,zirij]， 


| f(xz) — I(x) | 志雄 max | (zr—Zx) (to— Zr) | 过 je， 
2 二 Rs 8 


其 中 ,M: 一 max| f(z)|,h max(zerl 一 ze)。 进 一 步 可 得 出 如 下 定理 , 它 说 明了 分 段 线性 


插值 具有 收敛 性 。 
定理 6. 10: 设 实 连续 函数 f(x)€EC [La,bj] 的 分 段 线性 插值 函数 为 I; (x) ,插值 节点 为 
a 二 zo 过 zi 过 … 过 x, 二 6b, 并 令 有 max(Ze+1 Xx4), 则 有 
liml, (x) = f(z) 和 [本 


6.6.3 分 段 埃 尔 米 特 插值 


分 段 线性 插值 克服 了 高 次 多 项 式 插值 的 诸多 缺点 ,但 它 的 导 函 数 在 整体 上 是 不 连续 的 。 
为 了 提高 曲线 整体 的 光滑 性 ,可 将 分 段 线 性 插值 加 以 扩展 ,这 需要 引入 另 一 种 插值 问题 : 埃 
尔 米 特 插 值 (Hermite interpolation)。 在 之 前 讨论 的 插值 问题 中 ,插值 条 件 都 是 节点 上 的 函 
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数值 ,如 果 增 加 对 导数 ,甚至 高 阶 导数 的 插值 要 求 , 则 得 到 的 插值 多 项 式 称 为 埃 尔 米 特 插值 
多 项 式 。 下 面 首先 讨论 插值 要 求 中 函数 值 与 导数 值 个 数 相等 的 埃 尔 米 特 插值 ,然后 讨论 分 
段 埃 尔 米 特 插值 。 

1. 埃 尔 米 特 插值 

考虑 插值 要 求 中 函数 值 与 导数 值 个 数 相等 的 情况 。 设 在 插值 节点 zxi(i==0,1,…,n) 上 ， 
已 知 f(z;)==fi, 了 (zi)= 二 (i 二 0,1,…,n) ,要 求 插值 多 项 式 H(z) 满 足 

H(z) = fy HD) = fr GG=0 yn) (6.65) 

这 个 问题 属于 广义 的 多 项 式 插值 问题 ,可 看 成 是 定义 6.6 的 扩展 。 

方程 (6.65) 给 出 了 2n 十 2 个 条 件 ,可 唯一 确定 一 个 次 数 不 超 过 2n 十 1 的 多 项 式 , 记 为 
电 a.+1(X)。 这 个 存在 性 与 唯一 性 的 证 明 类 似 于 定理 6. 6 的 证 明 , 详 细 过 程 留 给 读者 思考 。 
插值 函数 及 sr1(zx) 的 几何 意义 是 : 函数 曲线 不 但 通过 已 知 的 离散 点 ,而 且 在 这 些 地 方 与 被 
插值 函数 曲线 有 相同 的 斜率 。 

要 推导 sh1(z) 的 表达 式 , 除 了 通过 列 线性 方程 组 求解 多 项 式 系数 ,也 可 类 似 于 拉 格 
朗 日 插值 进行 推导 。 不 同 之 处 在 于 , 埃 尔 米 特 插值 应 有 两 种 插值 基 消 数 ; a (zx) 与 B(x), 它 
们 分 别 支持 f; 与 fi 的 插值 要 求 , 即 


Hm (x) = 六 [raicn) 十 .pi(z)] 。 (6.66) 
省 略 复杂 的 推导 过 程 , 直 接 给 出 两 种 插值 基 函 数 的 公式 : 
ai(x) = [1—2(x— zr)U (zr) (zx) 
0 = (rt— xr) lx) . 
其 中 ,li;(z) 为 拉 格 朗 日 插值 基 函 数 。 不 难 验证 , 式 (6. 67) 中 的 函数 ai(z) 仅 当 z=xi 时 
值 为 1, 对 其 他 插值 节点 的 函数 值 以 及 所 有 插值 节点 上 的 导数 值 均 为 0, 而 及 (Cz) 仅 当 了 = 一心 
时 导数 值 为 1, 在 其 他 插值 节点 上 的 导数 值 以 及 所 有 插值 节点 上 的 函数 值 均 为 0。 因 此， 
式 (6.66) 是 满足 要 求 的 2n 十 1 次 埃 尔 米 特 插值 多 项 式 。 
进一步 详细 讨论 ,可 得 埃 尔 米 特 插 值 余 项 公式 为 (参见 文献 [8]) 


2mt2) (6) 四 


Cn Fo mT)» 


(一 0,1,2……,7) 。 (6. 67) 


Ran (Xx) f(z) — Han(x) 


其 中 ,se (a,6), 且 依赖 于 xz。 
除了 插值 要 求 中 函数 值 与 导数 值 个 数 相等 的 情况 ,对 更 一 般 的 情况 ,往往 可 用 待定 参数 
法 构造 出 相应 的 埃 尔 米 特 插值 多 项 式 。 下 面 通过 一 个 例子 加 以 说 明 。 
例 6. 11( 特 殊 埃 尔 米 特 多 项 式 的 构造 ): 已 知 函 数 f(z) 充分 光滑 , 求 满足 插值 条 件 
P(xi)= 二 f(xi) (i 二 0,1,2) 及 P'(zx1)= 二 了 (x1) 的 插值 多 项 式 P(x) 及 其 余 项 公式 。 
【 解 】 由 给 定 条 件 , 可 确定 次 数 不 超 过 3 的 插值 多 项 式 。 由 于 此 多 项 式 通 过 点 
《zorf(zo))、(z1,f(z1))、(zxs，f(zxs)), 利 用 牛顿 插值 多 项 式 的 构造 思路 假设 其 公式 为 
Pr = (rd Flrovrr llr =x0) flzxosriszs lr — wo =w) ee 
A(zr— zo)(r— zr) (rt— zx), 
其 中 ,A 为 待定 常数 。 接 下 来 ,由 条 件 P'(zxi) 二 了 (zi) 确定 A 的 值 ,可 得 
A PCz) 一 FLzoz] 一 (Cr 一 zo)FLzoyzyzs] . 


《一 一 
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为 了 求 出 余 项 RCz)=FCz) 一 PCz) 的 表达 式 , 可 设 
R(x) A(x) — P(xz) 开 (z)(z 一 zo)(Z 一 zi)2( 工 一 za)， 
其 中 ,K(Cz) 为 待定 函数 。 构 造 
B= f= PY— RD — md = (ta 
显然 p(xzi)==0,Cj=0,1,2), 且 9 (zi)=0,9(x)=0, 故 pl) 在 (a,6) 有 5 个 零点 (xi 为 二 重 
零点 )。 反 复 应 用 罗 尔 定理 ,得 pg*(1) 在 (a,4b) 至 少 有 一 个 零点 &, 故 
9 (6) = (一 4!KCz) = 0, 


K(z) = 让 /9 . 


RCz) = /Or Xo) (TO— Xx) (xO— rs), 


式 中 ,位 于 zo zi 与 zs 所 界定 的 范围 内 。 图 
2. 分 段 三 次 埃 尔 米 特 插值 
考虑 埃 尔 米 特 插值 式 (6. 66) 的 最 简单 情况 , 即 n=1 的 情况 ,此 时 两 个 插值 点 确定 一 个 
三 次 多 项 式 , 其 公式 称 为 两 点 三 次 埃 尔 米 特 插值 多 项 式 。 对 于 式 (6.67) 中 的 W(xi) ,可 知 


k=0 Ti Xk 
kA 
因此 ,假设 插值 节点 为 x 、xeni, 根 据 式 (6. 66)、 式 (6. 67) 可 得 到 三 次 埃 尔 米 特 插值 多 项 
式 H(zx) 
Hs(x) = fiar (7) + foam (zr) + fABi (zx) + finBn lz), 
其 中 


(6. 68) 
B(x) = Gz—z) (Ea | 


TA Tt 


2 
i 
Beri (x) (zr zu 人 : ) 


人 HL Tk 


对 于 一 般 的 含有 十 1 个 插值 节点 的 问题 , 若 插 值 条 件 中 还 包括 每 个 节点 上 的 导数 值 ， 
则 可 将 分 段 插值 的 思想 与 两 点 三 次 埃 尔 米 特 插值 节 合 ,在 每 


苏 
Hx) 个 相 邻 节点 构成 的 小 区 间 上 构造 三 次 多 项 式 , 得 到 的 插值 曲 
| 线 将 比分 段 线性 插值 有 更 好 的 光滑 性 。 设 通过 这 种 方式 构造 
0 的 分 段 三 次 埃 尔 米 特 插值 多 项 式 为 Hi; (x), 它 满足 插值 条 件 : 
9| 区 THi(zy)=fi,Hi(r0)=fi,(k=0,1,…,n) ,可 以 证 明 , HH (zx) 


图 6-13 分 段 Hermite 持 值 ”在 整体 上 1 阶 导 数 连 续 , 这 是 因为 在 插值 节点 上 ,Hi (zs 一 0) 二 
1 阶 导数 连续 大 二 Hi (x 十 0), 即 左右 导数 相等 ( 见 图 6-13) 。 
在 小 区 间 [Lzi ,zi ] 上 ,Hi (zx) 的 值 为 
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Hi(z) = 万 史 (z) = fo) fim(r) tt fapBilz) + fn lz), 
这 里 用 &,(x)、Bi(x) 表 示 式 (6. 68) 中 的 两 点 三 次 埃 尔 米 特 插值 基 函 数 a (x)、B(z) ,而 
昌 (zx) 为 小 区 间 [zxi ze] 上 的 三 次 埃 尔 米 特 插值 多 项 式 。 
类 似 于 分 段 线性 插值 ,也 可 以 在 整个 Le , 妇 区 间 上 将 Hi (xz) 表示 成 一 组 插值 基 函 数 的 
线性 组 合 形式 


ECz) = Dm (z) + fB; 7) 


由 于 最 多 在 两 个 小 区 间 上 H(z) 的 表达 式 会 用 到 万, 所 以 整体 基 函 数 w (xz) 的 表达 式 
为 分 段 函数 
Hy?(x) 中 的 &j(x)， x € [zxjni,zj] 
wz) 一 H(z) 中 的 &j(zx),， xz € [zx] 
0， 其 他 
具体 公式 为 


人 + 让 (三 2] ，z€ [am]G = 0 时 略 去 此 项 ) 


Wr 人 于 CE 2zE [zzr]G = nn 时 略 去 此 项 ) 


0， 其 他 
同 理 , 可 推出 B(xz) 的 表达 式 , 即 


(zi) i, er,,1 = 页 
= ，xzELzryziG = 二 0 时 略 去 此 项 ) 


Wy 
Blz) = (二 二 区 ] Ee ZE [zj,rnj(i = nn 时 略 去 此 项 ) 
人 其 他 
图 6-14 显示 了 分 段 三 次 埃 尔 米 特 插值 的 整体 基 函 数 a; (zt) 和 B(x) 的 图 形 。 根 据 公 式 
和 图 形 可 看 出 ,这 些 基 函数 具有 局 部 非 零 性 质 。 类 似 于 定理 6. 10, 也 可 以 证 明 分 段 三 次 埃 
尔 米 特 插值 具有 收敛 性 ( 当 插值 间距 刀 趋 于 0 时 )。 


oj 


xx 
i 
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i 
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有 1 


图 6-14 分 段 三 次 埃 尔 米 特 插值 的 整体 基 函 数 aj (zr) 和 Bi(z),j 了 0,n 


6.6.4 保 形 分 段 插值 


6. 6. 3 节 介 绍 的 分 段 三 次 埃 尔 米 特 插值 具有 整体 1 阶 导数 连续 的 性 质 ,但 它 要 求 已 知 
插值 节点 上 的 导数 值 ,这 在 实际 问题 中 常常 无 法 办 到 。 一 种 弥补 的 办 法 是 根据 已 知 的 函数 
值 设 定 插值 节点 处 的 导数 值 ,从 而 构造 出 分 段 三 次 埃 尔 米 特 插值 ,这 样 得 到 的 插值 又 有 一 个 
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独特 的 名 字 , 称 为 保 形 分 段 插值 (shape-preserving piecewise interpolation) 。 
这 里 的 关键 是 如 何 设 定 插值 点 zs 处 的 1 阶 导 数值 fi ,其 几何 含义 是 被 插值 函数 曲线 
在 该 处 的 斜率 。 在 保 形 分 段 插 值 法 中 ,插值 点 处 斜率 的 设置 应 使 插值 函数 在 局 部 不 过 多 地 
偏离 给 定 的 插值 数据 点 ,因此 可 利用 当前 点 左右 两 侧 的 1 阶 差 商 (数据 点 连 线 的 斜率 ): 
一 了 (ze 间 二 一 0》 
9 k flzri sre] 和 


di = FL sn 
TE TH TH Tk 


然后 按 如 下 规则 设 定 插值 点 处 的 1 阶 导 数值 。 

(1) 若 di-1 和 di 的 正 负 号 相反 ,或 者 它们 中 有 一 个 为 0, 那 么 在 zs 处 函数 为 离散 的 极 
大 或 极 小 ,于 是 令 f= 二 0。 此 情况 示 于 图 6-15(a) 中 ,其 中 的 曲线 为 由 两 个 三 次 多 项 式 组 成 
的 保 形 插值 函数 , 它 在 中 间 连 接点 处 的 1 阶 导 数 为 0。 


O Ey Xk E70 0 wi Xk Ey 
(a) ft=0 (b) /#0 
图 6-15 保 形 分 段 插值 中 函数 1 阶 导 数 的 设置 


(2) 若 di-1 和 di 的 正 负 号 相同 , 则 可 以 令 有 i 为 两 侧 两 个 斜率 的 加 权 调和 平均 数 , 而 权 
重 与 两 个 子 区 间 的 长 度 有 关 , 即 


Wl Wl | Ww 


py de dr’ 
其 中 避 直 = (ziti 一 zi) 十 《zapi 一 X29 二 (Thini 一 Ti1) 十 (zi 一 xz1-1)。 此 情况 示 于 
图 6-15(b) 中 。 注 意 , 若 两 个 子 区 间 长 度 相 等 , 则 


六 本 sl + E 

式 (6.69) 中 权重 wi 的 取 值 是 为 了 放大 较 短 区 间 上 的 斜率 ,使 得 插值 函数 曲线 较 合理 
地 反映 插值 数据 的 变化 趋势 。 另 外 ,对 于 整个 数据 区 间 的 两 个 端点 处 的 1 阶 导 数值 和 
万 , 需 要 进行 稍微 不 同 的 单 侧 方向 的 分 析 , 具 体 细节 见 参考 文献 L7]。 

一 旦 按 上 述 策略 设 定 了 各 个 插值 点 处 的 1 阶 导 数值 ,就 可 根据 6. 6. 3 节 的 分 段 三 次 埃 
尔 米 特 插值 得 到 保 形 分 段 插 值 多 项 式 。 更 深入 的 分 析 表 明 , 保 形 分 段 插值 还 可 以 保持 原始 
数据 的 单调 性 ,也 就 是 说 ,在 离散 数据 点 具有 单调 性 (递增 或 递减 ) 的 区 间 , 插 值 函数 也 有 同 
样 的 单调 性 ,而 对 于 离散 数据 出 现 极 值 的 点 .插值 函数 也 达到 极 值 。 保 形 分 段 插 值 已 实现 于 
MATLAB 软件 中 ,函数 名 为 pchip。 

在 本 节 的 最 后 ,总 结 一 下 所 介绍 的 3 种 分 段 低 次 插值 ,它们 与 高 次 多 项 式 插值 相 比 , 具 
有 如 下 3 个 优点 。 

(1) 收敛 性 好 ,因此 避免 了 类 似 龙 格 现象 的 发 生 。 

(2) 保 凸 性 好 ,因为 只 使 用 了 较 低 次 数 的 多 项 式 , 因 此 曲线 的 拐弯 比较 少 。 

(3) 稳定 性 好 ,分 段 低 次 插值 的 基 函 数 都 具有 局 部 非 零 性 质 , 因 此 车 节点 zx; 处 的 函数 

和 沁 


(6. 69) 
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值 或 1 阶 导 数值 有 扰动 , 它 仅 影响 到 局 部 小 区 间 上 的 插值 函数 值 ,误差 不 会 传播 到 其 他 
部 分 。 


6.7 样 条 插值 函数 


本 节 介 绍 样 条 插值 函数 , 它 也 属于 分 段 多 项 式 插值 ,但 比 前 面 介绍 的 几 种 插值 有 更 高 阶 
的 光滑 性 。“ 样 条 ”(spline) 一 词 源 自 早期 工程 师 绘 图 所 用 的 薄 木 条 ,将 它 固定 在 一 些 给 定 的 
数据 点 上 ,可 绘 出 一 条 连接 各 点 的 光滑 曲线 。 从 物理 上 讲 , 样 条 满足 插值 点 约束 ,同时 使 势 
能 达到 最 小 ,因此 对 应 的 曲线 必然 有 连续 的 2 阶 导数 。 在 数学 上 ,这 就 是 应 用 广泛 的 三 次 样 
条 插值 函数 。 


6.7.1 三 次 样 条 插值 


首先 给 出 三 次 样 条 函数 .三 次 样 条 插值 函数 的 定义 。 

定义 6.8: 设 4=zo 过 三 … 过 x 二 b, 若 函数 S(z) 满 足 条 件 : 

(1) 2 阶 导数 连续 , 即 S'(x)E€C[La,b]; 

(2) 在 每 个 小 区 间 [zeyzt+i],( 王 0,1,…, 一 1) 上 ,SCz) 为 三 次 多 项 式 , 则 称 S(x) 为 
关于 节点 zoyzl，…yzw 的 三 次 样 条 函数 。 若 给 定 fj 二 f(zj),(j 二 0,1,…,n), 且 三 次 样 条 
函数 SCz) 满 足 SCz) 一 方 ,GO 一 0,1,…,2), 则 称 SGCzr) 为 FCz) 的 三 次 样 条 插值 函数 。 

定义 6.8 中 的 三 次 样 条 函数 可 看 成 是 一 个 新 的 


S(x) 
函数 类 ,其 中 的 函数 由 分 段 三 次 多 项 式 * 拼 接 "而 成 ， | 
1 

1 


并 且 具 有 整体 的 2 阶 光 滑 性 。 事 实 上 ,由 于 各 个 小 区 | | 


-01+0 
间 内 是 三 次 多 项 式 ,2 阶 导 数 显然 连续 ,因此 整体 光 号 | 
滑 性 的 要 求 主要 针对 节点 处 ( 见 图 6-16)。 图 6-16 三 次 样 条 函数 SCz) 在 点 xz 
下 面 先 分 析 定 义 6. 8 是 否 能 唯一 地 确定 三 次 样 条 插 两 侧 1 阶 .2 阶 导 数 都 连续 


值 函数 。 假 设 共有 十 1 个 插值 节点 zo 过 x 过 … 达 zz, ， 
它们 形成 个 小 区 间 [zj ,zni], (j= 二 0,1,…,n 一 1)。 每 个 小 区 间 为 三 次 多 项 式 , 表 示 插 值 
函数 SCz) 共 需 4n 个 系数 。 这 些 系 数 满足 的 条 件 有 以 下 两 种 。 
(1) 对 每 个 小 区 间 ,两 端 处 函数 值 都 知道 , 共 2n 个 条 件 ,它们 也 保证 了 插值 函数 整体 上 
是 连续 的 。 
(2) 在 中 间 节 点 zx; 处 1 阶 导数 连续 、2 阶 导数 连续 , 即 
S' (zi 一 0) 一 SCz 十 0) 
ae, 一 0) = Sx;+0)" 
它 对 应 2(n 一 1) 个 条 件 。 
因此 ,根据 上 述 条 件 一 共 可 列 出 4n 一 2 个 方程 ,无 法 唯一 确定 4n 个 系数 。 在 实际 问题 中 ， 
通常 在 数据 区 间 的 两 端点 处 增加 一 些 条 件 . 称 为 “边界 条 件 ”。 常 用 的 有 以 下 4 种 边界 条 件 。 
(1) 已 知 两 端点 处 的 1 阶 导数 : S'(zo0) 二 f6,S' zw) 一 六; 
(2) 已 知 两 端点 处 的 2 阶 导数 : S' (zo)==f4,S"(z,)=f%; 
(3) 周期 边界 条 件 : 假定 被 插值 函数 /(z) 是 以 xz, 一 zo 为 周期 的 周期 函数 (同时 要 求 
三 f,), 则 要 求 SCz) 也 是 相同 周期 的 2 阶 导数 连续 的 函数 , 即 


(j= 1,2, ,nC—1), 
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S"(zo) 一 SCzo) 

(4) 非 结 点 (not-a-knot) 条 件 : 假定 在 区 间 [Lzo,zz] 上 使 用 统一 的 三 次 多 项 式 , 在 区 间 
[zx-z ,zj 上 使 用 统一 的 三 次 多 项 式 (n 宇 3)。 

易 知 上 述 4 种 边界 条 件 的 任何 一 个 都 带 来 两 个 方程 ,因此 使 求解 三 次 样 条 插值 时 的 方 
程 数 与 变量 数 匹 配 。 对 于 第 二 种 边界 条 件 , 若 二 1 二 0, 通 常 称 之 为 自然 边界 条 件 。 第 四 
种 边界 条 件 是 MATLAB 软件 中 spline 命令 采用 的 , 它 不 需要 额外 设置 参数 ,也 不 假设 被 插 
值 函数 具有 周期 性 。 

与 分 段 埃 尔 米 特 插 值 类 似 , 当 f(x) 满足 一 定 光滑 性 条 件 时 ,三 次 样 条 插值 具有 很 好 的 
收敛 性 。 因 此 ,三 次 样 条 插值 具备 前 面 介 绍 的 分 段 低 次 插值 的 优点 ,而 且 比 它们 有 更 好 的 整 
体 光 滑 性 (2 阶 导数 连续 )。 


6.7.2 三 次 样 条 插值 函数 的 构造 


求 三 次 样 条 插值 函数 的 常用 方法 是 以 插值 节点 的 2 阶 导数 值 作为 参数 构造 每 个 小 区 间 
上 的 表达 式 ,然后 利用 已 知 条 件 列 出 这 些 参 数 满足 的 线性 方程 组 并 求解 。 也 可 以 根据 插值 
节点 的 1 阶 导 数值 构造 每 个 小 区 间 上 的 表达 式 , 然 后 列 线 性 方程 组 求 这 些 待定 参数 值 。 下 
面 详细 介绍 前 一 种 方法 。 

设 S*(zj)) 二 Mj(j 二 0,1,…,n), 由 于 在 各 小 区 间 上 S”(x) 为 一 次 多 项 式 , 则 


SCz) =M (Eo ) Mn (= 一 六 ) 
TT TH 
-Mm [到 =] 上 Mi E =) zeE[zrzh] (=0,1,,n—1), 
J Fi 
对 上 式 做 两 次 积分 ,得 
M, 


ss M; 
S(t) G1 ZH1)3 + Gh Ti) 二 ajz tb;, (6.70) 


其 中 ,hj 二 zjti 一 x;。 再 根据 SC(zj)==fj,S(zjt1)= 二 fj+1 定 常数 aj、b; ,得 到 


a a My (6.71) 
h; 6 


A = S’'(zx,) 


疡 二 ziH — fmz + Mn Ep,, (6: 72) 
将 式 (6.71) 、 式 (6.72) 代 入 式 (6.70) ,并 整理 得 到 


(zn CO— (2 2 ( Mi (<) 
SCZz) 一 Mi 6 + Mn G7 二 | 方 6 hi 十 


CE 区 和 可 区 (j=0,1,.…,n— 1)。 
F 


(6.73) 
在 上 述 构造 过 程 中 ,利用 S(z;)==f;(j 二 0,1,…,n) 的 条 件 ,设置 节点 处 2 阶 导数 为 
Mj(j 二 0,1,…,n), 也 隐 含 了 SC(x)2 阶 导数 连续 。 因 此 , 接 下 来 应 利用 节点 处 1 阶 导 数 连续 
的 条 件 以 及 边界 条 件 确定 Mi; 的 值 。 
对 式 (6.73) 求 1 阶 导数 ,得 
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SCz) M; (wp Fy Cs hh Ma 一 Mi 


2h; 2h; j 6 J 
rE[Lzisrnj, (=0,1,.…,n—1), 
考虑 节点 x; 处 的 左 导数 , 它 通过 区 间 [x;-1 ,zx;] 上 的 函数 表达 式 计算 , 即 


Sz —0) = EM, + EM + fe, (6.74) 
6 3 hii 
同 理 , 利 用 [zi ,zj+1] 上 的 函数 表达 式 计 算 节 点 zx; 处 的 右 导数 
Si 0) SM, Mn th. (6.75) 
节点 处 1 阶 导 数 连 续 的 条 件 意味 着 式 (6. 74) 和 式 (6.75) 相 等 ,因此 得 到 方程 
Wn i NN = (6.76) 


二 人 _h 加 fi-! fi+t1 fi 
其 中 ,p= 于 


注意 : 式 (6.76) 给 出 了 2 一 1 个 线性 方程 ,但 未 知 量 的 数目 是 十 1, 所 以 应 再 利用 边界 
条 件 。 由 于 最 终 得 到 的 联 立 线性 方程 组 的 未 知 量 为 位 移 的 2 阶 导数 ,在 力学 上 的 意义 为 “ 弯 
和 矩 ”, 并 且 每 个 方程 最 多 包含 3 个 “ 弯 抢 ?变量 ,所 以 求 参数 Mi (j= 二 0,1,…,n) 的 方程 常 被 称 
为 三 索 矩 方程 。 

先 考虑 已 知 两 端点 处 1 阶 导数 的 第 一 种 边界 条 件 , 根 据 条 件 S'(xo)==f6,S’ (zx,)=f， 
结合 式 (6.74) 和 式 (6.75) ,得 到 方程 


AM — hm + Lh = 2M, + M = (LEA) (6.77) 
0 


ho ho 
以 及 
M1 +2M, = 起 (f £2 ]. (6.78) 
结合 方程 (6.76) 一 方程 (6.78) ,可 得 到 完整 的 (x 十 1) 阶 线性 方程 组 
次 Mo do 
Am 2 A Mi di 
; |=| : (6.79) 
Ln-1 要 人 。，1 Mi dl 
mm 2 儿 M， d, 
其 中 =p 一 ld 一 让 ( 人 友 人 = 十 (区 ft |. 还 注意 到 ,yj 十 二 1 


(二 1,2,…,n 一 1), 因 此 三 弯 矩 方程 (6.79) 的 系数 矩阵 为 按 行 严 格 对 角 占 优 的 三 对 角 和 矩阵 ， 
必定 非 奇 异 , 可 采用 “追赶 法 ”( 算 法 3. 12) 有 效 地 求解 , 且 不 需要 选 主 元 。 
对 于 第 二 种 边界 条 件 , 即 已 知 Mo 二 /6,M, 王 f%, 可 由 式 (6.76) 直 接 整理 得 到 方程 


pA Mi di =pufo 

pa 2 A2 M; aa 
5 i : = : (6. 80) 
| Co 


Fr-1 2 Mo di 一 Ar Rs 
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这 是 一 个 (2 一 1) 阶 的 线性 方程 组 ,系数 矩阵 对 角 占 优 , 仍 可 采用 "追赶 法 ”有 效 求解 。 

对 于 第 三 种 和 第 四 种 边界 条 件 , 可 类 似 地 建立 三 弯 矩 方程 。 应 注意 的 是 ,这 些 情况 下 需 
求解 的 线性 方程 组 系数 矩阵 都 为 严格 对 角 占 优 和 矩阵 ,因此 非 奇 异 , 说 明了 给 定 边界 条 件 后 三 
次 样 条 插值 函数 存在 并 且 唯 一 。 

求解 三 弯 和 矩 方程 得 到 节点 上 的 2 阶 导数 后 ,由 式 (6.73) 即 得 到 三 次 样 条 插值 函数 。 应 
当 指 出 ,上 述 构 造 三 次 样 条 插值 函数 的 方法 虽然 最 终 仍 要 求解 线性 方程 组 ,但 方程 组 的 阶 数 
仅 为 2 而且 可 采用 "追赶 法 ?或 其 他 快速 稀 玻 矩阵 解法 求解 ,因此 计算 量 比 直接 的 待定 系数 
法 ( 含 阶 数 为 4n 的 稠密 矩阵 ) 小 得 多 。 以 第 一 种 边界 条 件 为 例 ,下 面 给 出 三 次 样 条 插值 
算法 。 


算法 6.5: 用 满足 第 一 种 边界 条 件 的 三 次 样 条 插值 计算 函数 值 
A rr 

用 算法 3. 12 求解 线性 方程 组 (6. 79) ,得 到 Mo ,Mi ,…,M, 的 值 ; 
判断 工 所 属 的 插值 节点 区 间 编 号 ), 使 得 xE[Lz ,zjin]; 
利用 式 (6.73) 求 SCz), 则 > :=SCz) 


作为 对 插值 方法 的 总 结 ,下 面 给 出 一 个 例子 ,将 不 同 插值 方法 得 到 的 结果 进行 比较 。 

例 6. 12( 几 种 插值 结果 的 对 比 ): 假设 有 6 个 插值 节点 zx; 二 i 十 1(i 二 0,1,…,5), 对 应 的 
函数 值 为 f(xo)=16, f(z1)=18, f(z2)=21,f(zs)=17, f(x)=15,f(zs)=12。 可 以 比 
较 高 次 多 项 式 插 值 . 分 段 线性 插值 . 保 形 分 段 插值 和 三 次 样 条 插值 的 结果 。 借 助 MATLAB 软 
件 , 可 以 方便 地 画 出 插值 函数 曲线 的 图 形 ,如 图 6-17 所 示 。 相 应 的 MATLAB 命令 如 下 : 


>>x=1:6; y=[16 18 21 17 15 12]; xi=0.75:0.05:6.25; 
>>p=polyfit (x,y,5); vl=polyval (p,xi); 
>>v2=interpl (x,y,xi, 'linear'); 

>>v3=interpl (x,y,xi, 'pchip'); 

>>v4=interpl (x,y,xi, 'spline'); 

> 5ubp lot Zr Ts DIOL(R YO RL lr 
>>3ubpLloE(2 20 2)7 PLIOE(RS YO Xi V2 = 
>>5UbplotH2r 27 3 plo Yr or KL VI 
SobploL 2 2 A DEO oO Ri yA 


其 中 ,三 次 样 条 插值 使 用 “ 非 结 点 "边界 条 件 , 因 此 无 须 提供 额外 参数 。 对 于 高 次 多 项 式 
插值 ( 拉 格 朗 日 插值 ) ,这 里 通过 多 项 式 最 小 二 乘 拟 合 的 命令 polyfit 实现 , 当 多 项 式 系数 个 
数 与 拟 合 数据 点 数 相 同时 , 它 的 结果 就 是 高 次 的 插值 多 项 式 。 国 

从 图 6-17 看 出 ,三 次 样 条 插值 曲线 的 光滑 性 比 保 形 分 段 插 值 好 ,而 后 者 相 比 前 者 更 能 
反映 离散 数据 点 的 变化 趋势 ,而 且 应 注意 保 形 分 段 插 值 的 计算 比 三 次 样 条 插值 简便 。 因 此 ， 
选择 插值 方法 时 ,还 应 考虑 实际 应 用 中 的 一 些 要 求 , 如 光滑 性 、 数 据 单调 性 的 要 求 等 。 


6.7.3 B- 样 条 函数 


三 次 样 条 函数 仅 是 样 条 函数 的 一 种 ,本 节 介 绍 一 般 的 样 条 函数 及 其 基 函 数 “B- 样 条 ” 函 
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25 2 
20 上 
20 上 
18 上 
15 
16| 
10 14 
0 Do 一 8 
(a) 多 项 式 插值 (b) 分 段 线性 插值 
25 25 
20 20 
15 15 
1 100 i 6 8 
(c) 保 形 分 段 插值 (d) 三 次 样 条 插值 


图 6-17 4 种 插值 曲线 的 图 形 


数 , 它 是 计算 更 普遍 的 样 条 函数 插值 的 基础 。 
般 地 , 称 一 个 具有 & 一 1 阶 连续 导数 的 分 段 次 多 项 式 为 & 次 样 条 函数 。 例 如 ,一 次 

(线性 ) 样 条 函数 为 分 段 线性 函数 ,二 次 样 条 函数 的 光滑 性 与 分 段 埃 尔 米 特 插值 函数 一 样 ,但 
在 每 个 小 区 间 上 具有 二 次 多 项 式 的 表达 式 。 

类 似 于 拉 格 朗 日 插值 法 ,也 可 以 将 样 条 函数 表示 为 基 函 数 的 线性 组 合 。 例 如 ,对 于 一 次 
样 条 (分 段 线性 函数 ) ,我 们 已 推导 了 其 对 应 的 基 函 数 ( 见 6. 6.2 节 、 图 6-13)。k 次 样 条 函数 
的 这 种 基 函 数 称 为 k 次 B- 样 条 函数 ,它们 可 通过 递 推 公式 定义 。 为 了 表示 方便 ,不 妨 假设 
节点 是 一 个 无 限 集合 


2 
定义 6.9: 设 ;为 任意 整数 ,定义 0 次 B- 样 条 函数 为 


页 多 ls ZierE Ln 
人 = 其 他 
同时 定义 一 组 辅助 的 线性 函数 
Hz) 一 二 , (k=1,2,.) 
TH Xi 


对 于 A>0, 定 义 & 次 B- 样 条 函数 为 
B4(z) = H(z)Bh (zz) [1 — wh (zx) BH (rz), (6.81) 
从 定义 6.9 看 出 ,由 于 (x) 为 线性 函数 .0 次 B- 样 条 为 分 段 常 函 数 ,1 次 B- 样 条 为 分 
段 线 性 函数 ,进而 可 推出 次 B- 样 条 函数 为 分 段 & 次 多 项 式 。 
例 6. 13(1 次 B- 样 条 ) : 根据 B- 样 条 函数 的 定义 ,推导 Bi (xz) 的 表达 式 。 


四 ”名字 中 的 也 表示 bell, 指 函数 图 形 像 钟 的 形状 。 
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【 解 】 根据 式 (6. 81) ,得 
Bi(x) = vr Br) t+ [1 mvh(r) Bo (x), 
由 于 涉及 B? (x Bar (zx) 两 个 函数 ,将 自 变量 的 区 间 分 为 [zx; ,Zit Lzit ,Tit2j] 和 其 他 
三 部 分 分 别 讨论 。 
当 zELziyrinij 时 ,Bi(x)=v!(zx)= 


证 一 区 


; 
Titl Xi 


1 TX Tit+l TXit?s 


当 xzELziniyzritsJ 时 ,Bl(zx)=1—vhi(z) 
当 工 为 其 他 取 值 时 ,Bi (xz) 二 0。 


; 
Tit2 Ti+1l Ti 计 1 Tit2 


综合 起 来 ,得 到 

4 TL 
TH Xi 

1(x) 一 ” 一 TX 

oe, = Xi SSIS rn, 
Ti Titz 
0， 其 他 。 

它 与 分 段 线 性 插值 基 函 数 (6. 64) 完 全 一 致 。 男 


图 6-18 显示 了 二 次 ,三 次 B- 样 条 的 图 形 。 根 据 这 些 直 观 的 函数 图 形 以 及 更 严格 的 理 
论 分 析 , 可 知 B- 样 条 函数 Bi(zx) 具 有 如 下 重要 性 质 ( 参 见 文献 [1])。 
(1) 当 z 委 rz; 或 z 辫 rr 时,B4Cz) 一 0。 
(2) 当 志 < zz<zari 时 ,BCz) 过 0。 
es 
(3) 对 所 有 x，》) Bt(x) = 1。 


(4) 车主 1, 函 数 Bt(x) 的 一 1 阶 导数 连续 。 


1.0 
0.5r 

0 EA 总 a Xi3 Ti Xs 

(a) 二 次 B- 样 条 函数 B3(x) 

1.0 
0.5 

0 1 1 1 

为 Xi XH2 XH3 XH4 Xits 


(b) 三 次 B- 样 条 函数 B(x) 
图 6-18 二 次 ,三 次 B- 样 条 图 形 


这 些 性 质 表 明 B- 样 条 函数 具有 局 部 非 零 性 质 , 是 规范 化 的 , 且 自 身 也 是 样 条 函数 。 若 
对 有 限 个 节点 ze<z<…<<zw 进行 插值 ,只 需 将 BCz) ,BiCz) BCz) 这 2 十 R 个 
上 次 B- 样 条 函数 进行 组 合 。 可 以 证 明 , 它 们 在 区 间 [zo,z,] 上 的 部 分 组 成 2 十 & 个 线性 无 关 
的 基 瑟 数 。 因 此 ,对 于 满足 额外 边界 条 件 的 [xo。,zx,] 上 的 & 次 样 条 函数 ,可 唯一 用 这 些 基 函 
数 的 线性 组 合 表示 。 感 兴趣 的 读者 可 以 推导 B; (xz) 的 表达 式 , 然 后 利用 插值 条 件 和 边界 条 
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件 列 方程 求 这 些 基 函数 对 应 的 系数 ,进而 推导 出 三 次 样 条 插值 函数 的 表达 式 。 这 个 计算 过 
程 将 与 6.7. 2 节 的 方法 得 到 相同 的 结果 。 

利用 B- 样 条 基 函 数 , 可 得 到 确定 和 计算 各 阶 样 条 插值 的 有 效 而 稳定 的 方法 。 此 外 , 它 
在 计算 机 图 形 学 、 几 何 建 模 以 及 数值 求解 微分 方程 等 领域 都 有 广泛 的 应 用 。 


评 述 


关于 多 项 式 和 逼近 和 插值 问题 的 研究 历史 悠久 ,应 用 面 也 很 广 。 本 章 只 讨论 了 一 元 函数 
的 最 佳 平方 允 近 ,更 多 的 相关 内 容 , 包 括 多 元 函数 的 允 近 、 正 交 多 项 式 等 ,可 参考 下 述 文献 : 
。 P.J. Davis, Interpolation and Approrimation, Dover, 1975. 
。， W.Cheney, Introduction to Approrimation Theory, AMS Chelsea Publishing， 
2nd edition, 1998. 

*»° G.A.Baker, P. R. Graves-Morris, Pade Approrimations, Cambridge University 
Press, 2nd edition, 1996. 

。 W. Gautschi, Orthogonal polynomials: Applications and computation, Acta 
Numerica, Vol.5, pp. 45-119, 1996. 

最 佳 平方 驯 近 的 法 方程 方法 在 1795 年 由 高 斯 提出 。 格 拉 姆 - 施 密 特 正 交 化 方法 在 1883 
年 由 格拉 姆 提出 ,1907 年 , 施 密 特 给 出 了 现代 算法 。 在 求解 最 小 二 乘 问题 中 使 用 QR 分 解 
方法 ,特别 是 使 用 Householder 变换 的 方法 是 在 1965 年 由 G. Golub? 提出 的 。 最 小 二 乘 方 
法 是 统计 学 的 重要 工具 ,也 称 为 回归 分 析 , 很 多 常用 的 数据 处 理 软件 (如 微软 公司 的 Excel 
软件 ) 都 具有 这 个 功能 。 本 章 讨论 的 线性 最 小 二 乘 问题 是 一 种 最 简化 的 形式 ,在 回归 分 析 
中 ,只 要 回归 ( 拟 合 ) 表 达 式 为 待定 参数 的 线性 组 合 , 都 可 转换 为 线性 最 小 二 乘 问题 的 求解 。 
在 实际 应 用 中 ,还 常 遇 到 非 线性 最 小 二 乘 问题 ,它们 有 时 可 通过 变量 代 换 转换 为 线性 最 小 二 
乘 问题 ,或 者 归结 为 一 般 的 非 线性 优化 问题 ,可 参考 文献 L[1] 及 其 他 文献 。 另 外 , 若 考虑 所 有 
参量 都 带 有 随机 误差 的 情形 , 则 成 为 完全 最 小 二 乘 问题 ,有 关 详 细 讨 论 , 见 文献 : 

*» S.Van Huffel, J. Vandewalle, The Total Least Squares Problem, SIAM Press, 1991. 

本 章 也 没有 讨论 拟 合 的 基 范 数 可 能 线性 相关 的 情况 ,这 在 实际 中 可 能 由 于 拟 合 模 型 
的 不 合理 或 数值 误差 造成 , 它 使 得 矩阵 4 列 不 满 秩 。 此 时 最 佳 平方 逼近 解 不 唯一 ,要 得 
到 实际 有 用 的 一 个 逼近 解 , 需 采用 列 重 排 的 QR 分 解 等 技术 ,更 多 讨论 参考 文献 [1] 及 其 
他 文献 。 

很 多 机 器 学 习 方法 其 实 就 是 解 回归 分 析 或 曲线 拟 合 问题 ,最 小 二 乘法 是 其 中 的 解法 。 
例如 ,目前 广泛 使 用 的 神经 网 络 ,深度 学 习 模 型 ,其 训练 过 程 就 是 求解 一 个 非 线性 最 小 二 乘 
问题 ,只 不 过 回归 表达 式 非常 复杂 、 通 过 多 层 神 经 网 络 的 形式 表示 。 

多 项 式 插值 问题 历史 非常 修 久 ,和 牛顿, 拉 格 朗 日 等 都 为 此 方法 做 出 了 很 多 贡献 。 除 了 将 
函数 值 作为 条 件 的 插值 问题 ,插值 条 件 中 包括 各 阶 导 数值 的 情况 也 常见 于 各 种 工程 应 用 中 。 
目前 ,常用 的 文档 编辑 软件 都 已 使 用 保 形 分 段 插 值 绘制 曲线 ,如 微软 公司 的 Word 和 


@@ ”Gene H. Golub(1932 一 2007) ,美国 斯 坦 福 大 学 计算 机 系 教授 ,美国 科学 院 、 工 程 院 、 艺 术 与 科学 院 三 院 院 士 , 著 
名 的 数值 计算 专家 ,1996 年 出 版 的 著作 Matriz Comzutations[2] 被 奉 为 矩阵 计算 领域 的 经 典 。 
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PowerPoint 软件 。 样 条 函数 是 1946 年 由 Schoenberg 首先 提出 的 ,本 章 只 讨论 了 一 维 数据 
的 样 条 插值 和 B- 样 条 函数 ,实际 问题 中 还 有 高 维 的 插值 问题 ,尤其 在 计算 机 图 形 学 中 ,二 维 
B- 样 条 是 一 个 重要 的 工具 。 关 于 样 条 的 参考 文献 ,主要 有 

。 C. de Boor, A Practical Guide to Splines, Springer-Verlag, 2nd edition, 1984. 

»° E.V.Shikin, A.I.Plis, Handbook on Splines for the User, CRC Press, 1995. 

最 后 ,列表 说 明 MATLAB 中 与 本 章 讨论 的 函数 逼近 与 插值 有 关 的 命令 和 功能 , 见 
表 6-11。 


表 6-11 MATLAB 中 的 有 关 命令 


MATLAB 命令 功能 说 明 
(Cz，y) 为 离散 的 数据 点 ,polyfit 命令 将 它 拟 合 为 n 次 多 项 式 ,系数 存 于 p 
PPO 中 。 求 出 多 项 式 系数 后 ,可 用 命令 polyval 计算 某 个 自 变 量 对 应 的 函数 什 
反 斜 线 运算 符 *\" 可 用 于 求解 一 般 的 线性 最 小 二 乘 问题 Ax 衬 b, 其 内 部 算 
法 主要 是 算法 6. 3 


(zx，y) 为 插值 数据 点 ,xi 为 要 计算 的 自 变量 值 ,interpl 命令 根据 不 同 的 
method 选项 ,将 插值 结果 返回 给 yi。method 的 选项 为 

分 段 0 次 多 项 式 插值 ; 

linear 分 段 线性 插值 ; 

spline 一 一 三 次 样 条 插值 ; 

pchip 保 形 分 段 插值 

ph ee 保 形 分 段 插值 ,(z，y) 为 插值 数据 点 ,xi 为 要 计算 的 自 变 量 值 , 插值 结果 
Er 返回 给 yi。 与 interpl 中 的 相应 功能 相同 

ER sy 三 次 样 条 插值 .Cr，y) 为 插值 数据 点 ,xi 为 要 计算 的 自 变 量 值 , 插值 结果 
SY 返回 给 yi。 与 interpl 中 的 相应 功能 相同 

interp2 ，interp3 分 别 进 行 二 维 .三 维 数据 的 插值 ,其 使 用 的 方法 及 参数 与 interpl 类 似 


nearest 
yi=interpl (x, y, xi, method) 


另外 ,MATLAB 中 的 Curve Fitting Toolbox 与 Spline Toolbox 两 个 工具 箱 分 别提 供 
E 富 的 曲线 拟 合 与 样 条 插值 的 功能 。 

【本 章 知 识 点 】 连续 函数 的 范 数 ;内 积 及 其 性 质 ;内 积 空 间 的 格拉 姆 矩阵 及 其 非 奇 异 的 
充 要 条 件 ; 权 函数 与 加 权 内 积 ;最 佳 一 臻 到 近 与 最 佳 平方 双 近 的 概念 ;法 方程 方法 求 连续 函 
数 的 最 佳 平方 允 近 ;最 佳 平方 台 近 的 误差 ; 正 交 函数 族 与 Gram-Schimdit 正 交 化 过 程 ; 勒 让 
德 多 项 式 ; 用 正 交 函数 族 做 最 佳 平方 逼近 ;曲线 拟 合 的 线性 最 小 二 乘 问题 ;线性 最 小 二 乘 问 
题 的 矩阵 描述 ;法 方程 方法 解 线 性 最 小 二 乘 问题 ;利用 矩阵 的 QR 分 解 解 线性 最 小 二 乘 问 
题 ;插值 的 基本 概念 : 范 德 蒙 德 矩阵 与 多 项 式 插 值 的 存在 唯一 性 ; 拉 格 朗 日 插值 公式 ; 拉 格 朗 
日 插值 余 项 公式 ;牛顿 插值 公式 ; 差 商 的 计算 ;牛顿 插值 余 项 公式 ;高 次 多 项 式 插值 的 问题 ;分 
段 线性 插值 ; 埃 尔 米 特 插值 ;分 段 三 次 埃 尔 米 特 插值 ; 保 形 分 段 插值 ;三 次 样 条 插值 及 边界 条 
件 ;三 次 样 条 插值 的 构造 方法 ;三 弯 矩 方程 ; 几 种 插值 的 比较 ;B- 样 条 函数 的 基本 概念 与 性 质 。 


算法 背后 的 历史 : 拉 格 朗 日 与 插值 法 


了 


约瑟夫 。 路 易 斯 。 拉 格 朗 日 (Joseph-Louis Lagrange,1736 年 1 月 25 日 一 1813 年 4 月 
10 日 ) 是 法 国 数学 家 、 物 理学 家 。 他 在 数学 .力学 和 天 文学 3 个 领域 中 都 有 巨大 的 贡献 ,其 
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中 数学 方面 的 成 就 最 为 突出 。 拉 格 朗 日 与 同时 代 的 勒 让 德 (Legendre) 、 拉 普 拉 斯 (Laplace) 
并 称 为 法 国 的 3L。 

拉 格 朗 日 ( 见 图 6-19) 于 1736 年 生 于 意大利 西北 部 的 都 灵 。17 
岁 时 ,他 开始 专攻 当时 迅速 发 展 的 数学 分 析 。1756 年 , 受 欧 拉 的 举 
荐 , 拉 格 朗 上 日 被 任命 为 普鲁士 科学 院 通信 院士 。1766 年 , 赴 柏 林 任 
普鲁士 科学 院 数学 部 主任 ,居住 柏林 达 20 年 之 久 ,这 是 他 一 生 科学 
研究 的 鼎盛 时 期 。 在 此 期 间 , 他 完成 了 著作 《分 析 力 学 )。1786 年 ， 
加 入 巴黎 科学 院 成 立 的 研究 法 国度 量 衡 统一 问题 的 委员 会 ,并 出 任 
法 国米 制 委员 会 主任 。1795 年 ,建立 了 法 国 最 高 学 术 机 构 一 一 法 兰 
西 研 究 院 后 , 拉 格 朗 日 被 选 为 研究 院 数理 委员 会 主席 。1813 年 4 月 
3 日 ,法 国 国 王 拿 破 仑 授予 他 帝国 大 十 字 有 勋章 。 

拉 格 朗 日 的 主要 贡献 领域 

。 变 分 法 ( 拉 格 朗 日 乘 子 法 ) 。 

。 微分 方程 。 

。 方程 论 。 

。 数论 。 

。 函数 和 无 穷 级 数 ( 拉 格 朗 日 插值 ) 。 

。 黄 定 天 体力 学 。 

。 创立 分 析 力 学 。 

插值 法 与 招 差 术 

早 在 公元 6 世纪 ,中 国 隋 朝 的 刘 焊 已 将 等 距 二 次 插值 用 于 天 文 计算 。17 世纪 之 后 , 牛 
顿 、 拉 格 朗 日 分 别 讨论 了 等 距 和 非 等 距 的 一 般 插 值 公式 。 近 代 , 插 值 法 仍然 是 数据 处 理 和 编 
制 函数 表 的 常用 工具 ,又 是 数值 积分 、 数 值 微 分 、 非 线性 方程 求 根 和 微分 方程 数值 解法 的 重 
要 基础 ,许多 求解 方法 都 是 以 插值 为 基础 导出 的 。 

在 中 国 古 代 , 将 高 次 内 插 法 称 为 “ 招 差 术 ”。 隋 唐 时 期 ,已 出 现 等 间距 和 不 等 间距 二 次 内 
插 法 ,用 于 计算 日 、 月 、 五 星 的 运行 速度 。 元 代 天 文学 家 和 数学 家 王 愧 、 郭 守 效 在 所 编制 的 
《授时 历 ) 中 ,为 精确 推算 日 月 五 星 运行 的 速度 和 位 置 . 根 据 " 平 . 定 、 立 ”三 差 创立 了 三 次 内 插 
公式 。 在 欧洲 ,对 “ 招 差 术 ”首先 加 以 讨论 的 是 英国 数学 家 格雷 葬 里 (J. Gregory,1670) 。 此 
后 不 久 , 牛 顿 得 到 现在 通称 牛顿 插值 公式 的 一 般 结 果 。 和 牛顿 插值 公式 在 现代 数学 和 天 文学 
计算 中 仍然 起 着 重要 的 作用 。 在 中 国 ,元 代数 学 家 朱 世 杰 发 现 了 与 牛顿 插值 公式 完全 一 臻 
的 公式 ,创立 较 完 整 的 “ 招 差 术 ”, 这 比 西方 大 约 早 了 300 年 。“ 招 差 术 ”的 创立 ,发 展 和 应 用 
是 中 国 数 学 史 和 天 文学 史上 的 重大 成 就 。 

拉 格 朗 日 名 言 

。 一 个 人 的 贡献 和 他 的 自负 严格 地 成 反比 ,这 似乎 是 品行 上 的 一 个 公理 。 

。 如 果 我 继承 可 观 的 财产 ,我 在 数学 上 可 能 没有 多 少 价 值 了 。 

。 我 把 数学 看 成 是 一 件 有 意思 的 工作 ,而 不 是 想 为 自己 建立 什么 纪念 碑 。 可 以 肯定 地 

说 ,我 对 别人 的 工作 比 自己 的 更 喜欢 。 我 对 自己 的 工作 总 是 不 满意 。 

。 对 于 每 一 本 值得 阅读 的 数学 书 , 必 须 “ 前 后 往返 ”地 阅读 。 

。 我 此 生 没 有 什么 遗憾 ,死亡 并 不 可 怕 , 它 只 不 过 是 我 要 遇 到 的 最 后 一 个 函数 。 
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练 习 题 


1. 对 于 复 内 积 空间 ,证 明定 理 6. 1 ( 柯 西 - 施 瓦 茨 不 等 式 ) 。 

2. 当 f(x)=xz 时 ,求证 B,(f,x)=x。 

3. 对 于 下 列 线性 空间 C[0,1] 中 的 函数 f(x) ,计算 上 上。、| fi 与 |;: 

(1) f(z)=(zx—1)’; (2) Fo=|=- 志 | . 

4. 对 F(z),g(Cz)EC2z[a, bp, 定义 

(1) (f,g) = [re ar, (2) (f,g) = fr we art foge), 

它们 是 否 构成 内 积 ? 若是 ,请 证 明 ; 若 不 是 ,请 说 明 原 因 。 

5. CO) 三 | 定义 在 [一 1,1] 上 ,在 子 空间 8 二 span{1,#,#!) 中 求 它们 的 最 佳 平方 通 近 
多 项 式 。 

6. 在 子 空间 8 二 span{1,t} 中 , 求 下 列 函 数 f(7) 的 最 佳 平方 逼近 多 项 式 : 

(1) f(1)=e',t€EL0,1]; (2) f(1)=cos(nt) ,tiE[0,1]。 

7. 证 明正 交 多 项 式 序列 {pl (2) ,pa (0 ,… ,gi(1),…) 满 足 递 推 式 (6. 18) 一 式 (6. 20) 。 


8. 设 /C0=sin (#1) 1E[ 一 1,1], 利 用 勒 让 德 多 项 式 求 FCzo) 的 三 次 最 佳 平方 逼近 多 


项 式 。 将 函数 的 定义 域 改 为 区 间 [0, 1], 重新 求解 这 个 问题 。 
9. 已 知 实验 数据 见 表 6-12。 


表 6-12 实验 数据 
在 19 25 31 38 44 
yi 19.0 323 49.0 Yi3 97.8 


用 最 小 二 乘法 求 形 如 y=a 十 be? 的 经 验 公式 ,并 计算 均 方 误差 。 
10. 在 某 化 学 反应 中 ,由 实验 得 分 解 物 浓度 与 时 间 的 关系 , 见 表 6-13。 
表 6-13 浓度 与 时 间 的 关系 
时 间 + 0 5 10 | 15° | 20 | 25° | :30. | :35 | 40 | 45 | .50 | 55 
浓度 y(X10-) 0 |1.27|2.16|2.86 |3.44|3.87|4.15|4.37|4.51 |4.58 | 4.62 | 4.64 


根据 数据 趋势 选择 合适 的 拟 合 函 数 形式 ,然后 用 最 小 二 乘法 求 函数 表达 式 y= f(1)。 
11. 已 知 一 组 实验 数据 如 表 6-14 所 示 , 其 中 w; 为 各 个 数据 点 的 权重 ,需要 做 拟 合 曲 


线 。 请 将 该 问题 转换 为 标准 的 线性 最 小 二 乘 问题 式 (6. 30) ,然后 使 用 算法 6. 2 和 算法 6. 3 
分 别 求解 。 
表 6-14 一 组 实验 数据 
看 站 区 3 4 5 
f 4 4.5 6 8 8.5 
wi 2 1 3 1 | 
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12. 已 知 cosx(0" 志 x 二 90°) 的 函数 表 , 其 中 自 变量 取 值 的 步 长 h==1' = 二 (1/60)", 函 数值 
具有 5 位 有 效 数字 , 求 利 用 该 函数 表 以 及 线性 插值 技术 计算 cosz 的 总 误差 界 ( 包 括 截断 误 
差 , 舍 人 误差 )。 

13. 设 z(j 二 0,1,…,n) 为 互 异 节点 ,对 应 的 拉 格 朗 日 插值 多 项 式 为 L, (x),l; (zx) 
(J 二 0,1,…,n) 为 拉 格 朗 日 插值 基 范 数 。 求 证 : 


(1) > zz) x (k=0,1,.,n), 


了 一 0 


(2) > (zi 一 zz) =0, (k= 1,2,,n), 
j=0 


14. 设 f(x)EC[a,b] 且 f(a)==f(6)=0, 求 证 : 
max | 过 于 (Ce — 6)? max | fF(z) |。 
15. 在 一 4 委 z 委 4 上 给 出 f(z) 三 e” 的 等 距 节点 函数 表 , 若 用 二 次 插值 求 e* 的 近似 值 ， 
要 使 截断 误差 不 超过 10“ ,函数 表 的 步 长 h 应 取 多 少 ? 
16. 车 f(x)=ao 十 qx 十 … 十 as-1Xx”! 十 asx” 有 nn 个 不 同 的 实 零 点 zi,zz, ,Xx,, 且 
天 0, 试 证 明 : 


六 zf 10， 0 委 & 魏 7 一 2 
2 一 
J nd ax', k=n—l1 


17. f(z)=x' 十 x 十 3x 十 1, 求 f[2° ,2!,…,27] 及 f[2° ,2!,…,2s]。 

18. 不 利用 埃 尔 米 特 插值 式 (6. 67) 、 式 (6. 68) ,根据 待定 参数 法 推导 两 点 三 次 埃 尔 米 特 
插值 的 基 函 数 式 (6. 69)。 

19. 证 明 两 点 三 次 埃 尔 米 特 插值 余 项 是 

R;, (x) FE TH (XT— ZX) /4l, EE (zeyzrH)， 

并 由 此 求 出 分 段 三 次 埃 尔 米 特 插值 的 误差 限 。 

20. 求 一 个 次 数 不 高 于 4 次 的 多 项 式 P(z) ,使 它 满足 P(0)==P'(0)=0,P(1)=P'(1)=1， 
P(2)=1, 


21. 设 f(x)=1/(1 十 x), 在 一 5 之 x 过 5 上 取 n=10, 按 等 距 节点 求 分 段 线性 插值 函数 
五 (z) ,计算 各 节点 间 中 点 处 的 L(x) 与 f(x) 的 值 (保留 小 数 点 后 4 位 ,结果 列 于 表格 中 ) , 然 


后 用 插值 余 项 公式 估计 误差 ,看 上 述 计算 值 是 否 符合 理论 估计 。 
22. 求 f(z) 二 x? 在 La,b] 上 的 分 段 线性 插值 函数 I, (x) ,并 估计 误差 。 
23. 求 f(z) 二 x' 在 La,b] 上 的 分 段 埃 尔 米 特 插值 ,并 估计 误差 。 
24. 函数 f(z) 的 定义 域 为 区 间 [27.7,30j], 设 插值 节点 与 函数 f(x) 的 值 见 表 6-15。 
表 6-15 插值 节点 与 函数 f(x) 的 值 


xi 27.7 28 29 30 


Fri) 4.1 4.3 生生 3.0 


试 求 三 次 样 条 插值 多 项 式 SCz) ,满足 边界 条 件 S (27.7) 王 3.0,S (30) 王 一 4.0( 注 : 可 
用 数值 软件 求解 三 弯 矩 方程 ,最 后 写 出 SCz) 表 达 式 时 ,多 项 式 的 系数 保留 小 数 点 后 两 位 ) 。 
25. 设 f(x)EC[a,6b],S(z) 是 三 次 样 条 函数 , 试 证 明 : 
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b b b b 
(1) | [f(zx) J dx -| [S”(zx)Jdzr = | [f’(zx) 一 SCz)]?dz 十 2| S”([Lf’(zx)— 
S”(zx)J]dzr。 
(2) 若 f(zi) 二 SCzi) (i 二 0,1,…,n), 式 中 迟 ; 为 插值 节点 , 且 4 二 zo 过 zd 过 … 过 x 二 65, 则 
b 
| Ser CS ta Jd = SL (太一 3 一 SOCEP (a) — Sayl 


26. 推导 三 次 样 条 基 函 数 的 表达 式 B(x) ,利用 它 构造 三 次 样 条 插值 函数 ,比较 计算 过 
程 与 6.7.2 节 方 法 的 异同 。 


上 机 题 


1. 编程 实现 算法 6.2, 可 利用 现成 的 Cholesky 分 解 算法 ,用 练习 题 9 .10 中 的 问题 验证 
程序 的 正确 性 。 

2. 编程 实现 算法 6. 3, 可 利用 现成 的 QR 分 解 算法 ,用 练习 题 9 .10 中 的 问题 验证 程序 
的 正确 性 。 

3. 对 物理 实验 中 所 得 下 列 数据 


ti 1 lS 2 2.5 3.0 3.5 4 
yi 33.40 79. 50 122.65 159.05 189.15 214.15 238.65 
ti 4.5 5 5.5 6 6.5 7 7.5 8 


Yi 92 这 267.55 280,50 296.65 ”301.65 310.40 318.15 325,15 

(1) 用 公式 y=a 十 bt 十 ct? 做 曲线 拟 合 。 

(2) 用 指数 函数 y= 二 ae”* 做 曲线 拟 合 。 

(3) 比较 上 述 两 条 拟 合 曲线 , 哪 条 更 好 ? 

4. 在 MATLAB 中 编程 实现 算法 6.4, 并 利用 它 绘制 图 6-12。 

5. 对 于 使 用 第 三 种 边界 条 件 的 三 次 样 条 插值 ,讨论 形成 的 “三 弯 和 矩 "方程 系数 矩阵 的 特 
点 ,针对 这 种 稀 朴 矩阵 的 特点 ,编程 实现 一 种 有 效 的 高 斯 消去 求解 算法 。 自 己 构造 一 组 插值 
数据 ,测试 编写 的 程序 , 绘 出 相应 的 三 次 样 条 插值 曲线 。 

6. 对 于 使 用 第 四 种 边界 条 件 的 三 次 样 条 插值 ,推导 求 其 表达 式 的 方法 。 自 己 构造 一 组 
插值 数据 ,测试 编写 的 程序 , 绘 出 相应 的 三 次 样 条 插值 曲线 ,与 上 机 题 4 的 结果 进行 对 比 。 


7. 对 [一 5,5] 做 等 距 划分 ,zx, 二 一 5 十 访 涂 一 理 (i 二 0,1,…, 贡 并 对 Runge 给 出 的 函数 


1 
?了 ”TI 之 
做 拉 格 朗 日 插值 和 三 次 样 条 插值 ,观察 Runge 现象 的 发 生 与 防止 。 
(1) 取 ”一 10,20, 做 拉 格 朗 日 代数 插值 Lio(x) 与 Lzo (x)。 
(2) 取 ?一 10,20, 做 第 一 种 边界 条 件 的 三 次 样 条 插值 Sio(Cz) 与 Soo (x)。 
(3) 考查 上 述 两 种 插值 在 zx=4. 8 处 的 误差 ,并 分 析 。 
8. 已 知 直升机 旋转 机 辟 外 形 曲 线 的 采样 点 坐标 如 下 : 
rx 0.520 3.1 8.0 17.95 28.65 39.62 50.65 78 104.6 156.6 
y 5.288 9.4 13.84 20.20 24.90 28.44 31.10 35 36.9 36.6 
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x 208.6 260.7 312.50 364.4 416.3 468 494 507 520 
y a4.6 LO 2 9 M8 TB 7 5 
以 及 两 端点 的 1 阶 导 数值 y= 二 1. 865 48 和 yy/ 二 一 0. 046 115。 
利用 第 一 种 边界 条 件 的 三 次 样 条 插值 函数 计算 辟 型 曲线 在 z= 二 2,30,130,350,515 各 
点 上 的 函数 值 及 1 阶 导数 、2 阶 导 数 的 近似 值 。 


第 7 章 数值 积分 与 数值 微分 


积分 问题 最 早 来 自 于 几何 形体 的 面积 ,体积 计算 ,也 是 经 典 力 学 中 的 重要 问题 (如 计算 
物体 的 重心 位 置 ) 。 在 现实 应 用 中 ,很 多 积分 的 结果 并 不 能 写成 解析 表达 式 , 因 此 需要 通过 
数值 方法 计算 。 数值 微分 是 利用 一 些 离散 点 上 的 函数 值 近似 计算 某 一 点 处 的 函数 导数 , 它 
针对 的 是 表达 式 未 知 的 函数 。 本 章 介绍 一 元 函数 积分 (一 重 积 分 ) 和 微分 的 各 种 数值 算法 ， 
它们 也 是 数值 求解 积分 方程 ,微分 方程 的 基础 。 


7.1 数值 积分 概论 


7.1.1 基本 思想 
考虑 如 下 定 积分 的 计算 : 
tf 二 [ear, CT 


其 中 ,函数 f;R 一 R ,首先 应 想到 的 是 微 积分 中 学 习 过 的 牛顿 - 莱 布 尼 兹 (Newton-Leibniz) 
公式 


b 
[rowar = F(b)— F(a), 


其 中 ,Fz) 二 (x), 即 F(z) 为 (x) 的 原 函 数 ,。 但 是 ,诸如 er” 、Sinz sinzs 等 表达 式 很 简单 


的 函数 却 找 不 到 用 初等 画 数 表示 的 原画 数 , 因 此 必须 研究 数值 方法 近似 计算 积分 男 一 方 
面 , 某 些 函 数 的 原 函 数 虽然 可 以 解析 表示 ,但 其 推导 、 计 算 非 常 复杂 ,此 时 也 需要 使 用 数值 积 
分 方法 。 

一 般 考 虑 连续 的 或 在 区 间 [a, 刀 上 可 积 ? 的 函数 /(x), 则 根据 积分 的 定义 有 


lim Dam #70) = Km， 92 


neoo,h=0 


其 中 ,a=zxo 过 zi 过 he 了 "hh= max (xin zi). 


式 (7.2) 实 际 上 也 反映 了 近似 计算 积分 的 思路 ,就 是 取 充 分 大 的 n, 用 函数 值 的 “加 权 和 ” 允 
近 准 确 的 积分 值 。 研究 数值 积分 方法 主要 是 探讨 如 何 用 相对 较 少 的 计算 成 本 ,得 到 准确 度 
较 高 的 结果 ,这 里 的 成 本 常用 计算 被 积 函 数值 的 次 数 衡量 。 

上 述 讨论 表明 ,近似 计算 积分 I( 了) 的 数值 积分 方法 (numerical quadrature) 一 般 具 有 如 
下 形式 : 


L(f) = 2D Af zn), (A 
k=0 


中 连续 函数 在 闭 区 间 内 一 定 有 界 、 可 积 ,而 可 积 函数 则 可 能 不 连续 。 
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其 中 ,a 二 zo 过 过 … 过 zx, 三 6b,Ai (0 三 kn) 为 一 组 系数 。 形 如 式 (7.3) 的 求 积 公式 称 为 机 械 
求 积 公式 ,其 中 系数 As 称 为 积分 系数 , 自 变量 取 值 x 称 为 积分 节点 。 根据 积 分 节点 和 积分 
系数 的 不 同 设置 ,可 得 到 各 种 具体 的 求 积 公式 。 对 于 实际 问题 ,有 时 需 使 用 多 种 求 积 公式 构 
造 算法 ,以 达到 满意 的 效果 。 

推导 求 积 公式 的 一 种 方法 是 用 多 项 式 函 数 p(x) 近 似 f(x), 则 可 期 望 和 有 以 下 的 近似 
关系 : 


[war ~ | par, 
其 中 ,多 项 式 函 数 的 积分 很 容易 通过 牛顿 - 莱 布 尼 兹 公式 求 出 。 假 设 使 用 拉 格 朗 日 插值 法 构 
造 p(z) ,区间 [a, bj 内 的 插值 节点 为 zo ,zi ,… ,zx,， 则 


px) = L(x) = Df (zz), 


k=0 


L(x) 为 拉 格 朗 日 插值 基 函 数 。 由 此 得 到 求 积 公式 为 
1,.(f) = 上 Sd 一 DS pa ) dr. (7.4) 
ak=0 k=0 和 


由 于 44(z) 为 拉 格 朗 晶 插值 基 醒 数 ,一 旦 插值 节点 确定 , 便 可 计算 出 积分 4Gx)dr 。 这 种 


用 多 项 式 插值 近似 被 积 函 数 得 到 的 求 积 式 (7. 4) 被 称 为 插值 型 求 积 公式 (interpolatory 
quadrature) , 易 知 它 也 是 一 种 机 械 求 积 公 式 ,其 积分 节点 就 是 插值 节点 ,而 积分 系数 


A = | coadr， (k=0,1,°,n)。 7.5 


下 面 的 例子 推导 n= 二 0、n 二 1 两 种 情况 下 的 插值 型 求 积 公式 ,它们 分 别称 为 中 给 形 公 式 
(midpoint rule) 和 梯形 公式 (trapezoid rule) 。 
例 7.1( 中 答 形 公 式 与 梯形 公式 ): 根据 "= 一 0 一 1 两 种 情况 对 应 的 拉 格 朗 日 插值 推导 
相应 的 求 积 公式 ,假设 插值 节点 分 别 为 区 间 [a, 的 中 点 和 两 个 端点 。 
【 解 】 当 n=0 时 , 按 题 意 设 zo 二 (a 十 b)/2, 由 于 0 次 拉 格 朗 日 插值 多 项 式 为 常数 , 则 
Lo(z) = f(x0), 
因此 ， 


RD = /dr = 0 el]: (7.6) 
当 n= 二 1 时 , 按 题 意 设 zo 二 a ,zi 二 b, 利用 线性 拉 格 朗 日 插值 基 函 数 和 式 (7.5), 求 出 


-= 二 ss NN ss 
A = codz=| Hd 9 


b b i 
A， = | epdz =| Ear= 0 2, 


ab—a 2 
因此 ， 
11(f) = PA) = = [f(a) +f(6)]。 (C7.73 
ea 
面积 近似 函数 曲线 和 横 轴 围 成 区 域 的 面积 ( 见 图 7-1)。 荔 
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(arb)/3 
(a) 中 矩形 公式 (b) 梯形 公式 
图 7-1 中 矩形 公式 和 梯形 公式 的 示意 图 


7.1.2 求 积 公式 的 积分 余 项 与 代数 精度 


定义 7.1: 对 于 计算 积分 1(/) 的 求 积 公式 I,(f), 称 1(f) 一 1,(/) 为 该 公式 的 积分 余 
项 , 常 记 为 R[f]。 

积分 余 项 反映 了 求 积 公式 的 截断 误差 ,是 衡量 求 积 公式 准确 度 的 重要 依据 。 假设 (了) 
为 某 个 插值 函数 PCz) 的 积分 , 则 

证 疝 三 [ere — pad ldes 
即 积分 余 项 等 于 插值 余 项 的 积分 。 对 于 插值 型 求 积 公式 (7. 4) ,有 
R[f] = [ire = | Don (xz) dz, (7.8) 

其 中 ,依赖 于 z。 

下 面 介绍 代数 精度 的 概念 , 它 是 衡量 求 积 公式 准确 度 的 另 一 个 重要 标准 。 

定义 7.2: 如 果 某 求 积 公式 对 于 次 数 不 超 过 m 的 多 项 式 被 积 函 数 均 准 确 成 立 ,但 对 于 
m 十 1 次 多 项 式 可 能 不 准确 , 则 称 该 求 积 公式 具有 m 次 代数 精度 (degree of exactness) 。 

上 述 定 义 表 明 ,如 果 一 个 求 积 公式 具有 较 高 次 的 代数 精度 ,就 意味 着 它 能 准确 计算 次 数 
较 高 的 多 项 式 的 积分 ?。 注意 ,在 某 些 情况 下 ,代数 精度 并 不 是 越 高 越 好 。 

要 判断 一 个 机 械 求 积 公式 的 代数 精度 ,最 直接 的 方法 是 考查 当 被 积 函 数 分 别 为 1， 
工 ,如 ,… ,x” 时 求 积 公式 的 准确 性 。 下 面 给 出 一 个 定理 ,其 证 明 留 给 感 兴 趣 的 读者 思考 。 


定理 7.1: 机 械 求 积 公式 1,(f) 一 DA a) 至 少 有 m 次 代数 精度 的 充 要 条 件 是 当 


了 (DD 分 别 为 Lows ysa* 时; 
ICP = CCP。 
我 们 讨论 的 所 有 求 积 公式 都 至 少 具有 0 次 代数 精度 ,因此 根据 定理 7.1, 它 们 应 对 
f(z) 二 1 的 积分 准确 ,可 推出 


DA = ld = ba, (7.9) 
这 说 明 积分 系数 之 和 等 于 区 间 长 度 。 
根据 插值 型 求 积 公式 的 含义 ,容易 得 出 如 下 定理 ,其 证 明 留 给 读者 思考 。 


@ 当然 ,这 没有 什么 实际 意义 ,因为 很 容易 得 到 多 项 式 函数 的 原 函 数 。 
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定理 7.2: 机 械 求 积 公式 1,(/) 二 Af (x) 是 插值 型 求 积 公式 (7.4) 的 充 要 条 件 是 


它 至 少 有 7 次 代数 精度 。 

考查 例 7. 1 中 的 中 矩阵 公式 和 梯形 公式 ,可 得 出 它们 都 具有 一 次 代数 精度 。 一 般 地 ,在 
部 分 积分 节点 、 积 分 系数 已 知 的 情况 下 ,利用 定理 7. 1 可 建立 方程 求解 剩余 的 积分 系数 或 节 
点 ,使 其 达到 一 定 的 代数 精度 。 而 且 定理 7. 1 中 求 积 公式 的 形式 还 可 以 更 一 般 , 只 要 是 函数 
值 或 其 导数 的 线性 组 合 即 可 。 下 面 的 例子 说 明了 这 种 情况 。 

例 7. 2( 求 积 公式 的 代数 精度 ) : 用 形 如 态 ; (了) 二 Aof(0) 十 A1f(1) 十 Bo。 (0) 的 求 积 公 


式 近似 积分 1(7) = | 7(z)dz, 试 确定 系数 A、A1、B ,使 公式 具有 尽 可 能 高 的 代数 精确 度 。 
【 解 】 根据 题 意 ,可 令 /Cz) 一 1, 或 ,或 二, 分 别 代入 求 积 公式 ,使 HC/) 一 1(/) 精 确 


成 立 。 
当 f(x)==1 时 ,得 
1 
Ao 二 Ai = [1.4dr— 1， 
0 
当 f(zx)=xz 时 ,得 


1 
Ai 十 B。 =| zdr = 二 ， 
0 


当 f(x) 二 x? 时 ,得 


Ai = | zidr— 
1 一 oT T= 3° 
联 立 上 述 3 个 方程 , 解 得 Ai 一 于 ,Au 一 二,B 一 于 。 


当 f(z) 二 zx? 时 ,容易 验证 上 述 求 积 公式 不 准确 ,因此 H;( 放 最 多 具有 二 次 代数 精度 。 国 
7.1.3 求 积 公式 的 收敛 性 与 稳定 性 


实际 使 用 的 求 积 公式 都 是 机 械 求 积 公 式 (7.3) ,下 面 针 对 它 给 出 求 积 公式 的 收敛 性 和 稳 
定性 的 概念 。 


定义 7.3: 对 于 的 值 可 为 任意 正 整数 的 一 系列 机 械 求 积 公式 1,(f) 二 YAf Cw)， 
a 生 rzo<z<…<z 委 0, 若 


b 
lim 1,(f) = | f(z)dzr, 


其 中 ,hh 二 max (x 一 x4-1), 则 称 这 一 系列 求 积 公式 具有 收敛 性 。 

收敛 性 说 明 求 积 公式 在 积分 节点 逐渐 增多 , 且 节 点 间距 逐渐 变 小 时 ,其 结果 收敛 到 准确 
的 积分 值 。 这 个 概念 不 同 于 式 (7. 2) ,后 者 反映 的 是 被 积 函 数 具 有 可 积 性 。 在 实际 应 用 中 ， 
求 积 公式 具有 收敛 性 非常 重要 ,后 面 还 将 针对 具体 的 公式 加 以 讨论 。 

在 讨论 求 积 公式 的 稳定 性 之 前 , 先 分 析 数 值 积分 问题 的 敏感 性 和 条 件数 。 假设 f(x) 为 
准确 的 被 积 函数 , 广 (z) 为 实际 计算 时 受 扰动 影响 的 被 积 函数 ,扰动 的 大 小 为 S= ef (x) 一 
fC) =~—max| f(z)—f (zx)| , 则 扰动 对 积分 计算 的 影响 为 
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b b b 
rewar— [fF war|<| | FCz) 一 广 (z) | dr<< 4—a), 《0 


这 说 明 ,积分 计算 结果 的 误差 最 多 为 扰动 的 (6 一 c) 倍 ,积分 区 间 的 长 度 (0 一 上 ) 是 绝对 条 件数 
的 上 限 。 一 般 来 说 ,数值 积分 问题 是 不 太 敏 感 的 。 这 一 点 不 难 理解 ,因为 积分 运算 本 身 就 是 
一 个 平均 的 过 程 , 它 不 容易 受 被 积 函数 的 小 扰动 的 影响 。 

求 积 公 式 的 稳定 性 反映 计算 过 程 中 的 扰动 是 否 被 放大 ,以 及 放大 的 程度 。 具体 来 说 ,在 
计算 机 械 求 积 公式 时 , 需 考 虑 积分 节点 的 函数 值 出 现 误差 时 , 它 对 结果 产生 的 影响 。 假设 节 
点 函数 值 由 f(zxi) 变 为 六 (zx) , 则 数值 积分 的 结果 由 I,(/) 变 为 1, (六 ) ,两 者 之 差 满足 


[DLP =| DA — Fr)]| 
k=0 


< | Ag |.| fr) — Fz) | 


k=0 
<(> | A 1)s， CW LL 
k=0 


其 中 ,e=max| f(x) 一 f(x)1<6。 根据 式 (7. 9) , 若 同 时 有 Ai 记 0(k 二 0,1,2,…,n), 则 不 
等 式 (7. 11) 变 为 
[A IS<G— We <4—a)d (7.12) 

式 (7.12) 表 明 , 求 积 公 式 的 结果 受 扰动 影响 的 程度 与 积分 问题 敏感 性 的 结果 式 (7. 10) 
一 致 ,这 是 控制 数值 计算 误差 能 达到 的 最 佳 情况 。 将 它 作 为 一 个 标准 ,可 定义 求 积 公式 的 稳 
定性 。 

定义 7.4: 若 对 &=0,1,2,…,2, 均 有 Ak 二 0, 则 机 械 求 积 公式 了 (站 = pe 是 
稳定 的 。 

利用 定义 7.4 很 容易 直接 判断 求 积 公式 的 稳定 性 。 在 实际 情况 中 ,不 稳定 的 求 积 公式 


的 积分 系数 绝对 值 之 和 3 | A: | 可 能 远大 于 4 一 a, 从 而 导致 函数 值 的 扰动 在 计算 结果 上 


被 放大 很 多 。 

本 节 介绍 了 求 积 公式 的 基本 形式 ,以 及 积分 余 项 代数 精 度 、 收 敛 性 和 稳定 性 的 概念 ,其 
中 收敛 性 是 针对 一 系列 公式 (积分 节点 数目 逐渐 增多 ) 而 言 的 。 后 面 介 绍 具体 公式 时 ,将 考 
查 单个 公式 的 积分 余 项 代数 精度 和 稳定 性 ,并 讨论 积分 节点 数目 逐渐 增多 时 的 收敛 性 。 此 
外 ,还 应 注意 具体 公式 中 计算 函数 值 的 次 数 , 它 是 度量 计算 量 的 标准 。 


7.2 牛顿 - 柯 特 斯 公式 
在 积分 区 间 上 构造 等 距 节 点 的 多 项 式 插值 ,对 应 的 插值 型 求 积 公式 为 牛顿 - 柯 特 斯 
公式 。 
7.2.1 柯 特 斯 系数 与 几 个 低 阶 公式 


假设 将 积分 区 间 nn 等 分 , 步 长 = (6 一 a)/n, 持 值 节点 为 x 二 a 十 kh,(k 二 0,1,2,…,n)， 
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则 可 得 到 等 距 节点 的 拉 格 朗 日 插值 多 项 式 . 根据 式 (7. 4)、 式 (7. 5) 的 推导 ,得 到 形 如 
IC = Asf (zy) 的 求 积 公式 ,其 中 ， 


(= i 
a (TEC— To) (TO— TH) XE — TMI) (NO— Ta) 


b 
A: = | li(x)dr 


这 就 是 n 阶 牛顿 - 柯 特 斯 (Newton-Cotes) 公 式 。 
引入 变量 代 换 x==a 十 t,t EL0,nj,， 则 


和 = mw 了 —jb—a 
A =| 人 i)ar=| ( i dt (7.13) 
. ol 下 一 了 出 [中 k—j) 7 
令 
CD) [人 ” { 合 汪 ee 局 6 
CP = 也 sd EF J = 012,0 (7.14) 
它 仅 与 阶 数 nn 有关 ,与 区 间 大 小 无 关 , 则 积分 系数 
Ak = (0—a CY (7.15) 


式 (7.14) 中 的 Ck? 常 被 称 为 柯 特 斯 系数 ,可 以 预先 计算 出 不 同 值 对 应 的 柯 特 斯 系数 , 制 
成 一 个 表 ( 见 表 7-1) ,根据 它 方便 地 写 出 各 阶 牛顿 - 柯 特 斯 公式 。 


表 7-1 柯 特 斯 系数 表 


n [i 
1 1 
2 也 也 
2 1 
. 3 
1 3 3 1 
3 8 8 8 8 
4 16 2 16 7 
90 45 15 45 90 
5 19 25 25 25 25 19 
288 96 144 144 96 288 
6 41 9 9 34 9 9 41 
840 35 280 105 280 可 840 
7 751 3577 1323 2989 2989 1323 3577 751 
17 280 17 280 17 280 17 280 17 280 17 280 17 280 17 280 
8 989 5888 一 928 10 496 一 4540 10 496 一 928 5888 989 
28 350 28 350 28 350 28 350 28 350 28 350 28 350 28 350 28 350 
从 表 7-1 看 出 , 当 n=8 时 , 柯 特 斯 系数 C4? 出 现 负 值 ,因此 对 应 的 求 积 公式 是 不 稳定 
- 本 示 出 人 不 和 , fn i 读 人 心 、 o 
的 。 表 7-1 也 显示 出 柯 特 斯 系数 的 对 称 性 , 即 C2? 二 C%, ,其 证 明 留 给 读者 思考 


下 面 介 绍 3 种 常用 的 低 阶 牛顿 - 柯 特 斯 公式 (对 应 于 zx 一 1, 或 2, 或 4 的 情况 ) 。 
(1) 梯形 公式 (对 应 于 "一 1 的 情况 ) : 


TC = 3 + 100)] (7. 16) 


(2) 辛普森 (Simpson) 公 式 ( 对 应 于 "一 2 的 情况 ) : 
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sD = 70+ (+t)]. (7.17) 
(3) 柯 特 斯 公式 (对 应 于 "一 4 的 情况 ) : 
CD = E70) +32f C7) + 12f 67) +32f 67) +7f (62)] 。 (7.18) 


注意 : 前 面 的 梯形 公式 (7. 7 就 是 这 里 给 出 的 也 ,而 中 和 矩形 公式 也 可 看 成 是 牛顿 - 柯 
特 斯 公式 的 一 个 特例 (对 应 于 "一 0 的 情况 ) 。 
例 7.3( 牛 顿 - 柯 特 斯 公式 ) : 用 中 矩形 公式 、 梯 形 公 式 和 辛普森 公式 近似 计算 积分 


ey 
ID = | dz 
0 


【 解 】 3 种 方法 的 计算 结果 如 下 : 机 J 
1.(f) = (1—0e"’” a0.778 801, S 
1 


一 二 (en 1) 2 9 
TO = (e+e) ~ 0.683 940 ve 
Ss(f) = 天 en 十 4e%s 十 er) 0.747180。 oo RN | 
1 


图 7-2 画 出 了 例 7. 3 中 被 积 函数 的 曲线 ,以 | 
及 各 个 求 积 公式 对 应 的 插值 多 项 式 。 事 实 上 ,这 ' 
个 积分 的 精确 值 约 为 0. 746 824, 因 此 辛普森 公式 


的 计算 结果 最 准确 ,中 和 矩形 公式 其 次 。 应 注意 的 0 05 1 区 
是 ,梯形 公式 的 误差 (一 0. 062 884) 大 约 是 中 矩形 


图 7-2 3 种 求 积 方法 计算 | ee dz 
的 示意 图 


公式 误差 (0.031 977) 的 两 倍 。 国 
7.2.2 牛顿 - 柯 特 斯 公式 的 代数 精度 


根据 定理 7.2,n 阶 牛 顿 - 柯 特 斯 公式 至 少 具 有 nn 次 代数 精度 。 下面 的 定理 进一步 讨论 
了 为 偶数 的 情况 。 

定理 7.3: 当 为 偶数 时 ,n 阶 牛 顿 - 柯 特 斯 公式 至 少 有 十 1 次 代数 精度 。 

【证 明 】 只 要 证 明 它 对 f(x) 二 =x" 的 积分 余 项 为 0。 由 于 fi? 了 (外 = 二 (nn 十 1)1， 


b (Cat1) b 
RLf] 村 分 二 wd(z)dz 一 | wa (XT) dr 


= | TITc 一 Pd 
0 j=60 
这 里 令 zx 一 ca 十 矿 ,tiE [0,nj]。 再 令 t==w 十 n/2, 则 
ef IT( 划一 让 
R[fj]=h | & 十 了 J |du ， 


考 奉 上 式 中 被 积 函 数 了 HG) 二 ( + 二 一 j]， 由 于 为 偶数 , 则 


j=0 


HQ) = [一 六 。 


j=—n/2 
易 知 电 (w) 是 奇 函 数 。 例 如 ,n= 二 0 时 ,有 H(ww) 二 wu;n 二 2 时 ,有 HG(w) 二 (4 一 1)u(u 十 1)。 所 以 
| Hoadu = 0, 即 [有] 一 0, 根 据 定理 7.1, 原 命题 得 证 。 四 
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一 般 来 说 ,偶数 阶 牛 顿 - 柯 特 斯 公式 与 比 它 高 一 阶 的 公式 有 相同 的 代数 精度 ,但 后 者 计 
算 函 数值 的 次 数 更 多 。 这 也 是 7. 2. 1 节 中 没有 列 出 3 阶 牛 顿 - 柯 特 斯 公式 的 原因 。 
7.2.3 几 个 低 阶 公式 的 余 项 


牛顿 - 柯 特 斯 公 ee 符合 式 (7. 8) ,下 面 对 几 个 低 阶 公式 进行 推导 ,便于 估计 
积分 误差 的 余 项 公 

1. 0 

根据 式 (7. 8) ,梯形 公式 的 余 项 为 


ee 
Rs = KY= TO | Ex a = iy (7.19) 


其 中 ,EE (oa ,0)。 由 于 (6 处 于 积分 号 内 ,因此 无 法 直接 利用 式 (7. 19) 估 计 截 断 误差 。 复 
习 微 积 分 中 学 过 的 第 一 积分 中 值 定理 : 车 函数 f(x)、g(x) 在 区 间 [a,6] 上 有 界 、 可 积 , 且 
g(Cz) 在 Le, 56] 内 不 改变 正 负 号 , f(x) 连续 , 则 至 少 存在 一 点 6E (a,0) ,使 


| f(r)g(r)dr = /Of scodz 


针对 式 (7.19), 取 g(x)==(x 一 a) (x 一 0), 易 知 g(Cz) 委 0, YrELa,bj]。 将 (8) 看 作 关 于 x 
的 连续 函数 , 则 根据 第 一 积分 中 值 定理 ,得 


py 六 1 
Rr = / | (tz—a)(r—b)dr / Ss ws (7.20) 


其 中 ,7E (a,b)。 
2. 辛普森 公式 的 余 项 
根据 式 (7.8) ,辛普森 公式 的 余 项 为 


Rs 三 WA = SCF) [ 态 fr SE 


元] Dds 。 
由 于 当 zE[as 们 时 ,zx 一) (x 一 全](z 一 6) 的 值 改变 符号 ， 无 法 直接 使 用 积分 中 值 


定理 将 /(&) 提 出 积分 号 。 下 面 利用 辛普森 公式 具有 3 次 代数 精度 的 性 质 以 及 一 些 技巧 ， 


设 3 次 多 项 式 函 数 H(z) 满 足 条 件 HoO=7(o He)=/(: 2 HCW)=f(), 


以 及 H( 轩 <)= Ff (3): 求 函数 H(z) 的 问题 是 一 种 埃 尔 米 特 插值 问题 ,第 6 章 的 


例 6. 11 曾 给 出 求 了 H(z) 的 方法 ,并 推导 出 插值 余 项 为 全 名 (x 一 x) Cr 一 4)*(r 一 zy) ,其 
中 &€ (a,6)。 由 于 辛 普 人 RE 
Rs -[ fdr Ls [fe “+4 (和)+ re] 


=[ Fras = I How] 


(4) » 
=| fdr — [HODde [Se (x | (ry 
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YrE [4,6], 使 用 第 一 积分 中 值 定理 ,得 


4) 
f ms o 人 > 4) 本 二 前 醒 


I 


i 全 4 
2880 
其 中 ,7E (a,b)。 
上 述 技巧 还 可 用 于 推导 中 矩形 公式 的 积分 余 项 ,其 结果 为 
R, 三 KF -hf Lo a)’, (7. 22) 


其 中 ,7E (a,6)。 对比 式 (7. 20) 和 式 (7. 22) 可 看 出 , 若 被 积 函 数 的 2 阶 导 数 变化 不 大 , 则 中 
矩形 公式 的 误差 约 为 梯形 公式 的 一 半 , 这 解释 了 例 7. 3 中 的 现象 , 另外 注意 ,使 用 上 述 积分 
余 项 公式 时 , 需 保证 被 积 函数 满足 相应 的 光滑 性 要 求 。 

牛顿 - 柯 特 斯 公式 是 等 距 节 点 的 插值 型 求 积 公 式 , 使 用 方便 。 从 表 7-1 看 出 ,n= 二 8 对 应 
的 牛顿 - 柯 特 斯 公式 是 不 稳定 的 。 实际 上 ,当主 10 时 ,C8?,(k 二 0,1,…,n) 中 至 少 有 一 个 是 
负 的 ,而 当 n 王 oo 时 ， 


2 1CP | 一 c 。 
因此 , 随 着 积分 节点 个 数 的 增加 ,高 阶 牛顿 - 柯 特 斯 公式 是 不 稳定 的 ,函数 值 的 小 扰动 
将 导致 结果 的 很 大 误差 。 而 由 于 高 次 多 项 式 插 值 存 在 龙 格 现象 , 即 插值 节点 的 增加 并 不 能 
保证 插值 函数 收敛 到 被 积 函 数 上 ,牛顿 - 柯 特 斯 公式 可 能 不 收敛 。 所 以 ,实际 上 只 使 用 低 阶 
(n 二 8) 的 牛顿 - 柯 特 斯 公式 。 


7.3 复合 求 积 公式 


由 于 高 阶 牛 顿 - 柯 特 斯 公式 是 不 稳定 的 ,不 能 通过 提高 阶 数 来 提高 计算 积分 的 准确 度 。 
类 似 于 分 段 低 次 插值 的 做 法 ,可 将 积分 区 间 分 成 若干 个 子 区 间 ( 通 常 是 等 分 的 ) ,再 对 每 个 子 
区 间 使 用 低 阶 的 牛顿 - 柯 特 斯 公式 ,通过 增加 子 区 间 的 数目 就 能 提高 整个 积分 的 准确 度 。 例 
如 ,将 区 间 [La, 5] 等 分 为 n 个 子 区 间 , 对 每 个 子 区 间 采 用 梯形 公式 计算 , 则 整个 积分 的 误差 


为 榜 形 公式 积分 余 项 之 和 总 全 于 (5 二】 它 近似 等 于 人 四, 隧 着 子 区 间 数 上 
n 的 增 大 ,误差 将 逐渐 减 小 。 em quadrature) 。 
7.3.1 复合 梯形 公式 
假设 将 积分 区 间 [a.,6] 分 为 n 等 分 , 步 长 h=(6 一 a)/n, 在 得 到 的 每 个 小 区 间 [xi ,zeti] 
上 用 梯形 公式 做 近似 积分 , 即 
| par 和 SL) Fl 


其 中 ,xz 二 a 十 kh,(k 二 0,1,…,n)。 再 将 各 小 区 间 的 近似 积分 相 加 ,得 到 计算 FT 六 的 积分 公式 
， 254 ， 
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nl 


nl 
T= 2) SLD FF) = Sf + f+] 《7.23) 
k=1 


k=0 


式 (7.23) 称 为 n 十 1 个 节点 的 复合 梯形 公式 。 
从 式 (7.23) 可 以 看 出 ,复合 梯形 公式 也 属于 机 械 求 积 公式 ,并 且 是 稳定 的 。 事实 上 , 它 
是 利用 分 段 线 性 插值 近似 被 积 函 数 得 到 的 求 积 公 式 ( 见 图 7-3)。 由 于 分 段 线性 插值 具有 收 
敛 性 (定理 6. 10) ， le SN 式 也 是 收敛 


J /0) 
/A 的 。 下面 从 另 一 个 思路 证 明 复 合 梯形 公式 的 收敛 
分 段 线性 性 。 记 T= ers- i 


插值 函数 1,(x) 


1 
1 
| 
1 
| 
1 
1 
| 
| 
L 


主 [4 多 fa +h Pre)] 


1 
1 
1 
| 
1 
1 
1 
| 
1 
1 
1 
x 


1 
1 
lL 
1 
1 
上 


入 上 各 本 局 妆 训 站 


ol Xl x x 
图 7-3 复合 梯形 公式 计算 积分 (==3) 一 到 CT Es 


这 说 明 T, 是 T' 与 “的 平均 值 . 注意 ,T, 相 当 于 各 
小 区 间 左 端点 函数 值 乘 以 小 区 间 长 度 并 求 和 , 若 /(x) 是 可 积 函 数 , 则 根据 积分 的 定义 知 


limT, = [war = IC/)。 同 理 ,limTx=TCP ,所 以 lim7T, 一 ICPD， 因 此 得 到 下 面 的 定理 。 
定理 7.4: 车 f(x) 是 区 间 [a, 5j 上 的 可 积 函 数 , 则 复合 梯形 公式 (7.23) 具 有 收敛 性 , 即 
limT, = 1(/)。 
根据 复合 梯形 公 \ 式 的 几何 意义 (图 7- 3), 易 知 它 对 于 f(z) 二 x? 的 积分 是 不 准确 的 , 因 
此 具有 一 次 代数 精度 。 下 面 考虑 它 的 积分 余 项 。 


在 小 区 间 [Lz ,zit1] 上 ,梯形 公式 的 积分 余 项 为 一 告 /"(m) ,对 k= 二 0,1,…,n 一 1] 对 应 的 
n 有 段 积 分 求 和 ,得 


1 
> fF 办 ) 
。4=0 


n 


AT, 好 [ 和 /om)] a 


he FD, (7.24) 


其 中 ,7E (a,0)。 最 后 一 eee 中 值 定理 ”, 即 当 f(x)ECLa,6b] 时 ,必定 


Br 
存在 7 使 六 (7) = 呈 
下 面 定义 等 距 节 点 求 积 公式 的 准确 度 阶 数 ,更 明确 地 区 分 不 同 公式 的 误差 大 小 。 
定义 7.5: 若 一 个 等 距 节 点 求 积 公式 的 截断 误差 为 OC(1?) 小 量 ,h 为 节点 间距 , 则 称 该 
方法 具有 p 阶 准确 度 (order of accuracy)。 
根据 余 项 公式 (7. 24) ,可 以 看 出 复合 梯形 公式 具有 2 阶 准 确 度 。 一 个 求 积 公式 的 准确 
度 阶 数 越 高 , 随 着 h 的 减 小 ,其 结果 误差 减 小 的 速度 就 越 快 。 


7.3.2 复合 辛普森 公式 


类 似 于 复合 梯形 公式 ,对 每 个 小 区 间 [Lz ,ze 使 用 辛普森 公式 , 便 得 到 复合 辛普森 公式 : 
* 255 。 
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1 
总 一 个 [Jr 二 47Gza3) + frm)] 
k=0 
nl 7 一 1 
= 3, 一作 [Fao) +427Czad) 十 2247CrD) 十 FCO)] 。 (7. 25) 
k=0 k=1 


注意 ,在 式 (7.25) 中 ,f(xs+3) 表 示 各 个 小 区 间 中 点 的 函数 值 ,而 f(a) 十 22) f(r) 十 /06) 
k=1 


也 是 复合 梯形 公式 T 所 要 计算 的 。 

式 (7.25) 表 明 , 复 合 辛普森 公式 属于 机 械 求 积 公 式 , 并 且 是 稳定 的 。 实际 上 , 它 是 利用 
分 段 二 次 函数 插值 近似 被 积 函数 得 到 的 求 积 公式 。 同样 可 以 证 明 , 复 合 辛普森 公式 具有 收 
敛 性 ,以 及 3 次 代数 精度 。 

根据 辛普森 公式 的 积分 余 项 式 (7. 21) ,可 推导 出 复合 辛普森 公式 的 积分 余 项 式 为 


TCD 一 S =— 2080 6 /OD = 00), (7. 26) 
可 以 看 出 ,复合 辛普森 公式 具有 4 阶 准确 度 , 因 此 它 的 截 表 7-2 Co) 函 数值 
断 误差 衰减 速度 比 复合 梯形 公式 快 得 多 。 二 
例 7.4( 复 合 求 积 公式 ) : 要 计算 积分 本 
I= | Smzdz， 1/8 0.997 397 8 
二 过 1/4 0.989 615 8 
已 知 2 一 8 对 应 的 区 间 等 分 点 上 的 被 积 函数 值 ACz) 一 一 3/8 0.976 726 7 


( 列 于 表 7-2), 求 复合 梯形 公式 及 辛普森 公式 的 结果 ,并 估计 1/2 | 0.958 8511 


误差 。 5/8 0.936 155 6 
【 解 】 将 积分 区 间 [0,1] 划 分 为 8 等 分 ,应 用 复合 梯形 3/4 0.908 8517 

法 , 求 得 7/8 0. 877 192 6 
Ts = 0.945 690 9 。 1 0. 841 4710 


将 积分 区 间 4 等 分 ,应 用 复合 辛普森 法 ,有 
S, = 0.946 0833 。 


为 了 利用 余 项 公式 估计 误差 ,要 求 /CD 一 sa 的 高 阶 导数 ,考虑 到 


二 1 
f(2) = = | cos(zxt) dt, 
性 0 
则 
下 加 a 
Fo (7) =| 人 | seos( 4+, 
odr o 2 


, 
mnax | FA <| 
0 


0 和 rz 和 1 
可 得 复合 梯形 公式 的 误差 估计 
2 
|RreCP |=|1—T, |< max | cz 1 


eos (x 十 冬 ) 


1 
是 
<|e = 二 
tdt ud pr 


2 
< 十 全 于 0.434 X10, 
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对 复合 辛普森 公式 估计 误差 ,可 得 
和 二 
可 6 
| RssCP) |=| 工 一 S |< eo (3 ) 5 0.271X 10™。 


上 述 分 析 说 明 , 复 合 辛普森 公式 比 复合 梯形 公式 的 准确 度 高 得 多 。 事实 上 ,积分 的 准确 
值 约 为 1 二 0.946 083 07, 与 它 比 较 , 复 合 梯 形 法 的 结果 Ts 二 0. 945 690 9 只 有 两 位 准确 的 有 
效 数字 ,而 复合 辛普森 法 的 结果 S, ==0. 946 083 3 却 有 6 位 有 效 数 字 。 两 种 复合 求 积 公式 都 
使 用 9 个 点 上 的 函数 值 ,计算 量 基本 相同 ,然而 精度 却 差 别 很 大 。 国 

除了 复合 梯形 公式 、 复 合 辛普森 公式 ,还 可 根据 柯 特 斯 公式 (7. 18) 得 到 复合 柯 特 斯 
公式 。 


7.3.3 步 长 折 半 的 复合 求 积 公 式 计算 


由 于 积分 余 项 公式 包含 被 积 函数 的 高 阶 导数 ,并 且 使 用 它 往 往 高 估 误 差 , 一 般 的 积分 问 
题 不 能 用 它 估 计 误 差 ,更 不 能 通过 积分 余 项 确定 复合 求 积 公式 的 步 长 h。 为 了 自动 确定 复 
合 求 积 公式 的 步 长 ,以 满足 结果 准确 度 的 要 求 ,实际 算法 常常 逐渐 减 小 步 长 多 次 计算 复合 求 
积 公式 ,直至 结果 达到 预定 要 求 。 减 小 步 长 一 般 采用 步 长 折 半 的 做 法 ,这 样 可 利用 已 计算 出 
的 函数 值 ,从 而 减 小 计算 量 。 

首先 看 步 长 折 半 后 复合 梯形 公式 的 计算 。 考 虑 将 原来 的 每 个 小 区 间 二 等 分 得 到 27 
个 小 区 间 ,增加 了 积分 节点 zt3,， (k= 二 0,1,…,n 一 1), 记 步 长 折 半 后 的 复合 梯形 值 为 
Ts。 此 时 ,原来 的 区 间 [xi ,zrij 相 当 于 两 个 小 区 间 , 对 它 用 复合 梯形 公式 算出 积分 近 
似 值 为 


全 [Ace 二 7CzadD)] 十 全 [7Czad) 二 fron)] 


1 是 Ed fm)]) | frus), 
将 个 小 区 间 [zxi ,zitij] ,k= 二 0， ,7 一 1 的 结果 相 加 ,整理 后 得 到 


= 站 pp LN 
人 k=0 中 


二 > Ts, 一 去 T, 十 LS i (7.27) 
k=0 


式 (7.27) 表 明 , 计 算 积分 步 长 折 半 后 的 复合 梯形 公式 可 方便 地 利用 折 半 前 的 结果 T, ,只 需 
对 新 增加 的 积分 节点 再 计算 函数 值 。 式 (7. 27) 称 为 递 推 化 的 复合 梯形 公式 ,利用 它 能 快速 

。 计算 s 用 到 的 积分 节点 更 新 步 长 折 半 后 的 复合 梯形 值 。 

:计算 S> 新 增 的 积分 节点 对 于 复合 辛普森 公式 , 步 长 折 半 前 后 的 S, 和 
Ss 并 不 具有 像 式 (7. 27) 那 样 的 简单 关系 ,但 如 
图 7-4 所 示 , 计 算 Ss 时 原来 积分 节点 处 的 函数 值 仍 

图 7-4 步 长 折 半 的 复合 辛普森 公式 ”可 以 重用 ,只 需 再 计算 2n 个 新 增 节点 处 的 函数 值 。 

用 到 的 积分 节点 与 上 述 两 种 公式 不 同 ,中 和 矩形 公式 计算 区 间 中 

点 处 的 函数 值 ,由 它 导出 的 复合 求 积 公式 在 步 长 折 半 时 无 法 重用 已 有 的 结果 。 因 此 ,虽然 中 
矩形 公式 与 梯形 公式 的 准确 度 阶 数 相同 ,但 实际 应 用 中 较 少 使 用 。 


«> ‘> 
Xk Zn Xt 让 Xt 于 XH 到 
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7.4 龙 贝 格 积分 算法 与 理 查 森 外 推 


本 节 基 于 复合 梯形 公式 的 余 项 展开 式 , 利 用 理 查 森 外 推 得 到 一 种 快速 收敛 的 龙 贝 格 
(Romberg) 积 分 算法 。 


7.4.1 复合 梯形 公式 的 余 项 展开 式 


首先 给 出 一 个 有 关 复 合 梯形 公式 积分 余 项 的 定理 , 它 得 到 复合 梯形 公式 的 余 项 展开 式 ， 
是 Romberg 算法 的 基础 。 

定理 7.5: 设 被 积 函数 f(x) 定义 在 区 间 [a, 65] 上 ,和 且 任 意 阶 导数 连续 ,T(h) 为 积分 步 长 
为 h 的 复合 梯形 公式 的 结果 ,hh 二 (6 一 a)/n, 则 有 展开 式 


T(h) = 1) 二 +ak 二 azht 十 十 ah* 十 …， 《7.28) 
其 中 ,系数 w(!=1,2,…) 与 /无 关 。 
【证 明 】 将 FCz) 在 子 区 间 [Lze ,zi+i 中 点 zt 处 做 泰勒 展开 ,有 
RD = RF (Ti Yow (7.29) 


为 了 记号 简便 ,这 里 用 全 表 示 m 阶 导 数 广 (CZt+ 二 )。 例如 , /4 和 8 分 别 代表 点 
zi+ 了 处 的 1 阶 和 2 阶 导数 。 分 别 将 zx 王 zt 了 一 A/2 和 z= 二 zh+# 十 h/2 代入 式 (7.29), 就 得 到 
78Czo 和 Cztti) 的 展开 式 , 两 者 相 加 得 到 


8 ff 
f(x) + frm) = 2f43+2 从 (4) +? F277 ( |，… 


所 以 ， 


RT pC) + fz)] = Fa + pt (s) A 十 … 
2 FR) fn ft oy 2 了 gl 2 kts 1 o 


由 于 复合 梯形 公式 T(h) = > [fm) 十 f(zan)j，, 因此 得 到 如 下 展开 式 : 


ToD = 名 Ad 充当 到 A++ 直人 (人 ) Si + ov 。 (7. 30) 
另 一 方面 ,对 0 29) 在 区 间 Lzx ,zeti] 上 做 积分 ,得 


i 5 
nei tt i 3 (4) +0+ . (入 Ee 


而 积分 KC. 二 | Cz)dz 为 各 个 子 区 间 上 积分 的 总 和 ,因此 ， 


nl nl 
hs my 
Ay = hf ta 到 2 AH 可 Hr 十 … 。 二 
比较 式 (7. 30) , 式 (7; 31), 得 


LS 
TD = TCD 十 5 t+ pe i 
式 (7.32) 中 的 zxt3 处 的 各 阶 导 数 与 4 有关 ,还 需 进 一 步 处 理 。 考虑 对 (xz) 构 造 类 似 
于 式 (7. 29) 的 展开 式 ,然后 在 各 个 小 区 间 求 积分 再 求 和 ,可 得 到 类 似 于 式 (7. 31) 的 结果 。 
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hs 
51!。 


| 3 ol #1 
| PCz)dz 一 六 2 f+ 3 + .33) 
章 k=0 » k=0 k=0 


利用 式 (7. 33) 消 去 式 (7. 32) 中 的 SS /4,3 ,并 考虑 到 Fa = [rar, 得 


下 ; 
Th) IN+t3' a (6b) — f (a)]+ 


cahs Se 二 ceh” Se, 十 …， 
k=0 k=0 
其 中 ,cs cs 等 参数 为 常数 。 类似 地 ,对 f(x) 构造 展开 式 并 求 积分 ,然后 做 相应 处 理 后 
可 替换 掉 上 述 公式 中 的 5g. 依 此 类 推 , 最 终 得 到 表达 式 
k=0 


TR) =I 十 ciLF OD FOR EF OD) Om) 十 … 十 
CLf D6) 一 fu Ca) jh 十 …， (7.34) 
其 中 ,Ci,(k 二 1,2,…) 为 常数 。 
设 @ 二 G4[Lf* ?了 (6) 一 /2*? (a)j, 它 是 与 无 关 的 量 , 则 根据 式 (7. 34) 原 命题 得 证 。 国 


7.4.2 理 查 森 外 推 法 


基于 复合 梯形 公式 的 截断 误差 展开 式 (7. 28) ,可 以 得 到 更 高 阶 准确 度 的 求 积 公式 。 这 
里 需要 使 用 理 查 森 外 推 (Richardson extrapolation) 技 术 。 另外 ,为 了 自动 确定 合适 的 区 间 分 
段 数 ,可 将 积分 区 间 逐 次 二 等 分 ,逐渐 提高 结果 的 准确 度 。 为 了 表达 方便 ,可 做 如 下 符号 约 
定 。 若 步 长 h 二 (0 一 a)/2" ,对 应 的 复合 梯形 公式 计算 结果 记 为 Ti” ,每 个 小 区 间 二 等 分 后 ， 
步 长 变 为 (6 一 a)/2"*! ,相应 的 复合 梯形 公式 结果 为 Ts"+? 二 T(h/2), 这 里 的 下 标 0 代表 未 
经 过 外 推 的 原始 复合 梯形 公式 。 此 外 ,将 工 . 户 简 记 为 T。 

根据 定理 7.5, 步 长 折 半 前 后 两 个 复合 梯形 公式 的 误差 分 别 为 


Ti oIT= oh 二 oh 二 , (7.35) 
Te I= 名 ee 十 aa (7.36) 
将 式 (7. 36) 乘 以 4 再 减 去 式 (7. 35) ,然后 将 结果 除 以 3, 得 到 
Q2 
AT TP 4, 
3 3 


即 
4TH+D — TH 
3 


这 说 明 (4T6"1? 一 To”)/3 是 具有 更 高 阶 准确 度 的 求 积 公式 。 这 种 通过 将 不 同步 长 对 应 
的 结果 做 线性 组 合 得 到 更 高 阶 准确 度 结果 的 做 法 就 是 理 查 森 外 推 。 
将 上 述 一 次 外 推 的 结果 记 为 Ti”, 则 


P= 


容易 看 出 它 的 截断 误差 具有 下 述 展 开 式 


¥ 守 内 十 OC(h) 。 


4THD — TH 


7.37) 
3 C73 


* 259 。 
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TIT=RBh 二 Bh 十 …，, (7. 38) 
其 中 ,系数 B(1=1,2,…) 与 无关。 
事实 上 ,Ti 就 是 区 间 等 分 为 2" 个 小 区 间 后 采用 复合 辛普森 公式 的 结果 ,具体 证 明 留 
给 读者 思考 。 这 里 应 注意 的 是 ,计算 Ti” 的 过 程 不 同 于 直接 计算 复合 辛普森 公式 , 它 首 先 利 
用 复合 梯形 法 的 递 推 化 过 程 算出 T9”、Ts"*? ,然后 根据 式 (7. 37) 算 出 Ti”。 
上 述 计算 Ti” 的 理 查 森 外 推 技 术 可 针对 不 同步 长 对 应 的 Ti” 继续 应 用 ,构造 出 更 高 阶 
准确 度 的 求 积 公 式 ,这 就 得 到 下 面 的 Romberg 算法 。 


7.4.3 Romberg 算法 


当 积分 区 间 逐 次 二 等 分 时 ,可 得 到 一 系列 复合 梯形 公式 的 计算 结果 {T2P ,T8”?,…， 
Ti ,…) ,通常 称 其 为 梯形 值 序列 。 按照 式 (7. 37) ,将 梯形 值 序列 中 相 邻 两 个 值 做 线性 组 合 
产生 的 值 序列 记 为 {TI?”}。 式 (7. 38) 表 明 ,TI” 值 序列 误差 展开 式 的 首 项 是 Bh*, 从 TI” 值 
序列 两 个 相 邻 值 的 如 下 线性 组 合 得 到 Ts” 值 序列 
16Tfrt — TE? . 


TY (7. 39) 
其 误差 展开 式 为 
T 1 = Nh tp + = Os) 。 (7. 40) 
以 此 类 推 ,可 继续 构造 TS” 值 序列 Ts” 值 序列 等 。 它 们 的 积分 误差 满足 如 下 公式 ， 
TR 一 [= Om), (k=0,1,.) 。 (7.41) 
而 由 TI? 、T8*+? 得 到 了 T 避 ,的 外 推 公 式 为 
了 (7.42) 


4 一 1 

可 以 证 明 ,7T3” 值 序列 是 区 间 逐 次 二 等 分 的 复合 柯 特 斯 公式 的 结果 。 但 对 于 二 2 的 
Ti” 值 序列 , 它 不 再 是 某 个 牛顿 - 柯 特 斯 公式 对 应 的 复合 求 积 公式 。 并且, Ti?”(k 宇 0) 是 机 械 
求 积 公式 , 且 其 积分 系数 均 大 于 0, 因此 是 稳定 的 。 进一步 推导 可 得 

TR 一 [= aLf 0) 一 Fat a) jh + 

其 中 ,ci 为 常数 。 这 说 明 求 积 公式 Th? 具有 2k 十 1 次 代数 精度 。 关 于 求 积 公式 TI” 的 
收敛 性 ,有 如 下 定理 。 

定理 7.6: 若 被 积 函 数 f(z) 充分 光滑 , 则 在 区 间 逐 次 二 等 分 的 复合 梯形 公式 基础 上 外 
推 得 到 的 Ti” 值 序列 满足 

(GD limT? =1,k=0,1,. 。 

(2) limTi? =1 。 

对 定理 7.6 的 证 明 不 做 讨论 ,只 需 理解 其 含义 。 结论 (1) 说 明 , 当 积分 节点 数目 趋 于 无 
穷 时 ,Ti? 一 定 收敛 到 准确 的 积分 值 , 即 求 积 公式 Th” 具有 收敛 性 。 结论 (2) 说 明 , 随 着 理 查 
森 外 推 的 级 别提 高 ,积分 值 的 序列 也 收敛 到 准确 值 。 

综 上 所 述 ,Romberg 求 积 算法 的 计算 过 程 可 通过 表 7-3 表示 , 按 从 上 到 下 的 顺序 逐 行 
计算 。 
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表 7-3 Romberg 求 积 算法 计算 过 程 表 


浊 T™ TY Ti Th Ti 
b—a 了 人 
2 Te 一 To 
2 一 4 TH? TD 一 To 
4 
2 一 4 3) 2) D 0) 
8 Ts = > Ts 
和 To 一 T? TI? TSD 一 To 


根据 定理 7. 6 的 结论 (2) ,可 以 使 用 相 邻 两 个 积分 近似 值 之 差 作为 判断 收敛 的 依据 。 
例 7.5: 用 Romberg 算法 计算 例 7.4 中 的 积分 ,判断 收敛 的 阔 值 设 为 s 一 10“。 


【 解 】 使 用 Romberg 积分 表 ( 也 称 为 *T 数 表 ”) ,计算 结果 见 表 7-4。 


表 7-4 例 7.5 的 Romberg 积分 表 


h Te” WW TY 
1 0.9207355 
1/2 0.9397933 0.946 1459 
/2 0.9445135 0.946 086 9 0. 946 083 00 


从 表 7-4 中 可 以 看 出 ,经 过 两 次 步 长 折 半 后 计算 出 TS , 即 满足 收敛 条 件 。 此 时 的 结果 
与 准确 值 IT 一 0. 946 083 07 非常 接近 。 回 顾 例 7. 4, 复 合 辛普森 公式 的 结果 S, 需要 计算 9 次 


函数 值 ,而 Romberg 算法 只 需 计算 5 次 函数 值 就 得 到 了 更 准确 的 结果 。 


关于 Romberg 算法 ,应 注意 的 是 定理 7. 5 要 求 被 积 函 数 f(x) 充分 光滑 , 当 这 个 条 件 不 
满足 时 ,定理 7.5 的 展开 形式 虽然 成 立 , 但 系数 w 可 能 是 无 穷 大 的 量 。 此 时 ,Romberg 算法 
得 到 的 高 阶 外 推 值 未 必 更 准确 。 下 面 的 例题 体现 了 这 一 点 。 


例 7.6: 用 Romberg 算法 计算 积分 I= | ear 


【 解 】 jz) 一 z 在 [0,1] 上 仪 是 一 阶 导 数 连续 ,用 Romberg 算法 计算 ,结果 见 表 7-5。 
从 表 7-5 中 看 出 ,用 Romberg 算法 算 到 二 1/2 时 的 准确 度 与 复合 辛普森 求 积 公式 一 样 。 


这 里 ,7 的 精确 值 为 0.4。 


基于 上 述 分 析 , 使 用 Romberg 积分 算法 要 保证 计算 Ti” 值 序列 时 ,f(x)E€C*[a,b]， 
用 的 Romberg 算法 中 会 对 这 一 点 进行 检查 "3 。 


因此 在 一 些 实 
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表 7-5 例 7.6 的 Romberg 积分 表 


Th Ti TS Th? T™ Th 

1 0.500 000 

1/2 0.426 777 0. 402 369 

jy 学 0. 407 018 0. 400 432 0. 400 302 

Ue 0.401 812 0.400 077 0. 400 054 0. 400 050 

/2 0. 400 463 0.400 014 0. 400 009 0. 400 009 0. 400 009 

1/ 0.400 118 0. 400 002 0. 400 002 0. 400 002 0. 400 002 0. 400 002 


Romberg 算法 的 思想 可 概括 为 :以 复合 梯形 求 积 公 式 的 误差 展开 式 ( 定 理 7. 5 ) 为 依据 ， 
在 形成 步 长 逐次 减 半 的 梯形 值 序列 的 同时 ,通过 理 查 森 外 推 法 构造 收敛 阶 更 高 的 值 序列 。 
它 对 被 积 函 数 光滑 性 的 要 求 很 高 , 且 适 合 于 只 能 在 等 距 节点 上 对 被 积 函 数 取 值 的 情况 。 如 
果 人 允许 在 非 等 距 节点 上 求 被 积 函 数值 ,其 准确 度 和 效率 并 不 如 后 面 将 介绍 的 几 种 数值 积分 
方法 。 


7.5 自 适应 积分 算法 


Romberg 求 积 算法 通过 逐次 外 推 得 到 具有 高 阶 准确 度 的 求 积 公式 ,但 它 的 前 提 是 被 积 
函数 具有 充分 的 光滑 性 , 即 各 阶 导数 均 连 续 。 另 一 方面 ,Romberg 算法 使 用 的 积分 节点 在 整 
个 区 间 上 均匀 分 布 (总 数 约 为 2 ) , 当 积分 区 间 内 函数 值 变化 较 大 时 ,其 计算 效率 不 高 。 本 节 
介绍 一 种 自 适 应 积分 方法 (adaptive quadrature method). 它 能 自动 适应 各 种 被 积 函 数 , 非 均 
匀 地 选取 积分 节点 ,计算 效率 很 高 。 而 且 , 自 适应 积分 算法 只 做 一 次 理 查 森 外 推 ,适合 于 被 
积 函 数 光滑 性 不 高 的 情况 。 


7.5.1 自 适应 积分 的 原理 


自 适应 积分 包括 对 积分 节点 的 自动 选取 ,希望 利用 尽 可 能 少 的 函数 值 , 得 到 满足 精度 要 求 
的 积分 近似 值 。 定 积分 的 可 加 性 是 自 适应 积分 的 基础 ,假设 c 是 a 和 4 之 间 的 某 个 值 ,那么 ， 
[pear [ear + romar， 
若 能 在 指定 的 误差 阀 值 内 对 等 号 右边 的 两 个 积分 分 别 计算 ,那么 它们 之 和 也 将 是 满意 的 结 
果 。 如 果 两 个 积分 中 的 某 一 个 不 够 准确 , 则 可 以 将 它 递归 地 拆 分 为 更 小 区 间 上 的 积分 。 这 


样 得 到 的 算法 可 自动 适应 各 种 被 积 函 数 , 它 在 函数 值 变 化 剧烈 的 地 方 使 用 较 多 的 积分 节点 ， 
而 在 函数 值 变化 平缓 的 地 方 使 用 较 少 的 积分 节点 。 


为 了 判断 一 个 区 间 是 否 还 要 细 分 ,通常 对 该 区 间 计 算 两 次 积分 ,将 两 个 结果 的 差 作为 误 
差 估 计 。 一 种 简单 的 做 法 是 使 用 辛普森 公式 和 复合 辛普森 公式 ,后 者 的 子 区 间 个 数 为 2, 相 
当 于 计算 步 长 折 半 前 后 的 复合 辛普森 公式 。 假设 S 和 S。 分 别 代表 辛普森 积分 和 复合 辛 普 
森 积 分 的 结果 , 则 根据 式 (7. 26)， 
。262 。 
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下 2 一 
因此 ， 


一 S 二 


当 积分 区 间 内 被 积 函数 的 4 阶 导数 变化 不 大 时 ,上 述 近 似 相 等 关系 成 立 , 此 时 S: 一 S 
的 大 小 能 很 好 地 反映 S。 的 截断 误差 。 将 这 个 误差 与 S; 相 加 ,还 可 得 到 更 准确 的 积分 近 
似 值 


S:—S 
15 。 (7.43) 


Sy=S 
Q=5+7 。 
事实 上 ,这 个 Q@ 就 是 对 Ss 和 S 使 用 理 查 森 外 推 得 到 的 结果 ( 见 式 (7. 39))。 


7.5.2 一 个 具体 的 自 适 应 积分 算法 


(7.44) 


下 面 介绍 一 个 具体 的 自 适应 积分 算法 , 它 是 MATLAB 中 命令 quad 的 简化 版 本 。 这 个 
算法 使 用 辛普森 公式 和 复合 辛普森 公式 计算 同一 个 区 间 的 积分 ,根据 两 个 结果 的 差 是 否 小 
于 阔 值 判断 结果 的 准确 度 。 如 果 小 于 闪 值 ,使 用 式 (7. 44) 算 更 准确 的 外 推 值 作为 积分 的 结 
果 , 和 否则 将 积分 区 间 等 分 为 两 个 子 区 间 分 别 递归 地 执行 上 述 计算 过 程 。 

自 适应 积分 算法 很 容易 用 递归 程序 实现 ,下 面 给 出 MATLAB 程序 代码 中。 
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h=b-as; 

c= (a+b) /2; 

fd=F((at+c)/2,varargin{:}); 

fe=F((c+b)/2,varargin{:}); 

Ql=h/6 * (fa+4x fc+fb);sSimpson 公式 的 值 

Q2=h/12* (fa+4x fd+2xfc+4x fe+fb);$ 复 合 Simpson 公式 的 值 

if abs (Q2-Q1)<=tol 
Q =Q2+ (Q2-Q1) /15; 满 足 阅 值 条 件 ,返回 理 查 森 外 推 值 
fcount=2; 

else $ 对 两 个 子 区 间 递归 地 计算 积分 
[Qa, ka]l=quadtxstep(F,a,c,tol, fa,fd,fc,varargin{:}); 
[Qb, kb]=quadtxstep (F,c,b,tol,fc, fe,fb,varargin{:}); 
Q =Qa+Qb; 
fcount=ka+kb+2; 

end 


自 适 应 积分 算法 的 一 个 重要 问题 是 , 细 分 区 间 后 如 何 设置 误差 阔 值 ,才能 使 最 终结 果 达 
到 和 希望 的 准确 度 ?” 由 于 子 区 间 长 度 为 原始 区 间 的 一 半 ,一 种 策略 是 将 阅 值 减 小 一 半 , 此 时 如 
果 两 个 子 区 间 积 分 的 误差 都 小 于 tol/2 ,那么 它们 之 和 的 误差 必然 小 于 tol。 这 种 策略 并 不 是 
上 述 程 序 使 用 的 ,因为 它 有 点 太保 守 了 。 首先 ,由 于 返回 结果 时 还 进行 了 理 查 森 外 推 ,实际 
的 误差 比 阔 值 小 得 多 。 其 次 ,两 个 子 区 间 的 误差 都 接近 阅 值 的 情况 非常 少 ,往往 是 其 中 一 个 
接近 于 闪 值 ,而 另 一 个 要 小 得 多 。 因 此 , 子 区 间 的 冰 值 仍 可 以 使 用 原始 的 tol, 如 上 述 程序 中 
实现 的 。 

例 7.7( 自 适应 积分 ): 利用 quadtx 程序 ,计算 积分 


I | 1 | 1 
[0-37 F061 ( 工 一 0.9)2 十 0.04 


. 1 1 
| 一 | 
【 解 】 被 积 函数 /(7) 一 0 一 0- 3 于 0-01 + Cz 一 0.9) 二 0-04 


内 置 的 一 个 函数 ,名 为 humps。 如 图 7-5 所 示 , 被 积 函 “100 


6]dz i 


6, 实 际 上 是 MATLAB 中 


数 在 xz 二 0.3 处 有 一 个 剧烈 的 尖峰 ,在 zx 一 0.9 处 有 思 
一 个 比较 缓和 的 尖峰 。 ”; 
使 用 quadtx 程序 计算 这 个 积分 的 命令 如 下 ( 假 “| >， 二 
设 阔 值 为 10“) : 
>> [Q, fcnt]=quadtx (@humps, 0, 1, 1e-4) 0 J ~ 
得 到 结果 为 29. 8583, 计 算 函 数值 的 次 数 为 93 次 。 0 05 10 
这 些 积分 节点 的 位 置 示 于 图 7-4 中 。 图 图 7-5 humps 函数 曲线 以 及 自 适应 积分 
上 述 例子 中 的 被 积 函数 实际 上 存在 原 函 数 ,可 计算 中 的 积分 节点 位 置 


以 解析 地 求 出 定 积分 值 为 ? 


@ 计算 解析 积分 可 以 使 用 MATLAB、Mathematica 等 软件 的 符号 积分 功能 ,如 MATLAB 中 的 命令 int。 
。 264。 
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3 588 784 
I = arctan 993 187 十 llx 一 6 二 29. 858 325 395 498 67。 


因此 ,针对 例 7.7 可 以 改变 自 适应 积分 中 的 误差 阔 值 ,考查 积分 的 误差 与 阔 值 之 间 的 关 
系 。 我 们 让 阔 值 从 10-*、10 习 逐渐 变 小 到 10- ,使 用 quadtx 程序 计算 上 述 积分 ,观察 计算 
函数 次 数 以 及 误差 的 变化 情况 ,实验 结果 列 于 表 7-6 中 (fcnt 表示 计算 函数 值 的 次 数 ) 。 


表 7-6 自 适应 积分 的 计算 量 与 误差 随 阔 值 变化 的 情况 


tol 计算 值 Q fent err err/tol 
Ww 29. 833 284 441 748 63 25 一 2. 504e 一 02 一 做 250 
10™? 29. 857 914 446 299 48 41 一 4. 109e 一 04 一 0.041 
Ww” 29. 858 342 992 376 36 69 1. 760e 一 05 0.018 
10 一 29. 858 324 444 375 43 93 —9.5lle—07 一 0.010 
10™s 29. 858 325 515 486 43 149 1. 200e 一 07 0.012 
0 29. 858 325 401 940 41 265 6. 442e 一 09 0. 006 
0 29. 858 325 394 998 19 369 一 5. 005e 一 10 一 0.005 
0 29. 858 325 395 526 31 605 2. 763e 一 11 0. 003 
0 29. 858 325 395 496 03 1061 一 2.640e 一 12 一 0.003 
| 29. 858 325 395 498 90 1469 2. 274e 一 13 0. 002 
on 29. 858 325 395 498 66 2429 一 7. 105e 一 15 一 0.001 
De 29. 858 325 395 498 67 4245 0. 000e 十 00 0. 000 
从 表 7-6 看 出 , 随 着 指定 阔 值 的 减 小 , 求 被 积 函 数值 的 次 数 逐 渐 增 加 ,而 结果 的 误差 逐 
渐 减 小 。 并 且 对 于 这 个 例子 ,结果 误差 总 比 阔 值 小 得 多 。 
针对 实际 问题 ,设置 自 适应 积分 中 的 误差 阅 值 还 需要 一 些 经 验 和 技巧 。 例如 ,可 先 用 一 


种 简单 方法 对 积分 值 进行 粗略 估算 (只 需 与 准确 值 同一 个 数量 级 即 可 ) ,然后 可 根据 对 结果 
的 相对 误差 要 求 设 置 算法 中 的 误差 阔 值 。 另 外 , 自 适应 积分 虽然 在 实际 应 用 时 非常 有 效 , 但 


要 注意 吕 免 使 用 它 计 算 不 连续 丽 数 的 积分 ,或 积分 不 存在 的 情况 。 例 如 ,积分 | -dz 


是 存在 的 ,但 被 积 函数 并 不 连续 ,如 果 直 接 使 用 自 适应 积分 算法 ,将 导致 间断 点 周围 出 现 大 
量 的 积分 节点 ,程序 运行 很 长 时 间 才 出 错 停止 。 因 此 ,在 自 适 应 积分 程序 中 最 好 加 入 对 这 些 
特殊 情况 的 判断 。 


7.6 高 斯 求 积 公 式 


高 斯 求 积 公 式 是 积分 节点 非 均 匀 分 布 的 插值 型 求 积 公 式 , 它 可 以 达到 最 高 的 代数 
精度 。 
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7.6.1 一 般 理论 


前 面 介绍 的 牛顿 - 柯 特 斯 公式 基于 等 距 节点 的 多 项 式 插值 ,其 积分 节点 的 分 布 情况 是 确 
定 的 ,增加 节点 数目 可 提高 它 的 代数 精度 。 如 果 不 假 设 积分 节点 等 距 分 布 ,将 它们 也 作为 竺 
定 参数 , 则 可 以 构造 出 具有 更 高 代数 精度 的 求 积 公式 。 
考 杏 一般 的 机 械 求 积 公式 上 = 》)Asf (zs), 积分 系数 和 积分 节点 一 共 是 2 十 2 个 竺 
k=0 
定 参数 。 根 据 定理 7. 1 ,检查 当 被 积 函 数 为 1,z, 巡 ,…，zm 时 求 积 公式 的 准确 性 ,可 判断 它 
的 代数 精度 。 因 此 ,可 列 出 如 下 联 立方 程 求 积分 节点 和 系数 


b 
f(z)=1, > 4 1 = faz, 


四 
f(x)=7， Ss 。Xh 一 人 ar， 


RCR Sa 。 8 一 “ms 硬 
k=0 . 
一 般 可 列 出 2n 十 2 个 方程 ,唯一 地 确定 2n 十 2 个 参数 的 值 ,得 到 的 求 积 公式 至 少 具有 
2n 十 1 次 代数 精度 。 由 定理 7.2 知 , 它 一 定 是 插值 型 求 积 公 式 。 这 种 具有 最 高 代数 精度 的 
插值 型 求 积 公式 称 为 高 斯 求 积 公式 (Gaussian quadrature) 。 


定义 7.6: 若 形 如 1 = Af (Cz,) 的 求 积 公式 具有 2 十 1 次 或 更 高 次 代数 精度 , 则 称 
k=0 
为 (nn 阶 ) 高 斯 求 积 公式 ,其 积分 节点 称 为 高 斯 点 。 
例 7.8( 高 斯 求 积 公式 ) : 推导 计算 积分 
了 一 reodz 
的 两 点 高 斯 求 积 公式 Gs(f)= 二 A1f(zx1) 十 As f(zxs)。 
【 解 】 令 求 积 公式 对 前 4 个 单项 式 精确 成 立 , 则 得 到 方程 组 


1 
Ai 十 A: =| 1dz 王 2 
-1 


和 
Aizi 十 Azzs =| xdr=0 
-1 


。 
Aizi 十 A:z 一 | Tdr 一 = 


Aizi 二 + Azzxi = | ar 一 0 
解 这 个 非 线性 方程 组 ,同时 要 求 x \zs 均 为 实数 , 则 得 到 
石 一 一 1/V3， z=1/V3, A=!1, A:=1.。 
或 者 
w= w=/ Mh=l As= 1 
任 取 两 组 解 之 一 ,得 到 两 点 高 斯 求 积 公 式 为 
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(CAG ED A ED 
进一步 考查 发 现 , 该 公式 对 f(z) 二 x 的 积分 不 准确 ,因此 它 具 有 3 次 代数 精度 。 国 
为 了 讨论 的 一 般 性 ,可 将 待 求 的 积分 扩展 为 带 权 积分 


b 
1= | fC)pcn) dr, (7.45) 
其 中 ,o(x) 是 实 函 数 空间 C[a, 4b 中 的 权 函 数 (定义 6.2) ,常见 的 有 po(Cz) 王 1,o(Czr) 一 


i ,p(x) 一 6 于 等 情况 。 对 于 带 权 积 分 ,相应 的 求 积 公式 为 
一 


b= DAf ln), (7.46) 
k=0 


可 称 为 针对 权 函 数 p(x) 的 求 积 公式 。 这 种 近似 计算 积分 的 方法 相当 于 通过 积分 节点 和 积分 
系数 考虑 权 函 数 的 影响 。 因 此 ,不 同 的 权 函 数 对 应 不 同 的 求 积 公 式 ,而 在 应 用 它们 计算 积分 
时 ,可 达到 减 小 计算 量 的 效果 。 对 于 针对 权 函 数 的 求 积 公式 (7. 46) ,也 相应 地 有 插值 型 求 积 
公式 、 代 数 精度 等 概念 。 并 且 , 当 f(z) 为 次 数 不 超 过 2n 十 1 的 多 项 式 时 , 求 积 公 式 (7. 46) 都 
能 准确 地 计算 带 权 积分 (7. 45) , 则 该 公式 为 与 权 函 数 o(z) 对 应 的 高 斯 求 积 公 式 。 

要 求 出 高 斯 求 积 公式 ,一 种 方法 是 根据 定理 7. 1 ,使 用 待定 系数 法 联 立 方程 求解 高 斯 点 
和 积分 系数 。 但 注意 需求 解 的 是 2n 十 2 阶 非 线性 方程 组 , 当 ) 较 大 时 ,计算 量 很 大 ,或 者 难 
以 求解 。 下 面 介绍 的 方法 先 确 定 高 斯 点 的 值 ,再 求 对 应 的 积分 系数 。 先 看 一 个 定理 。 

定理 7.7: 设计 算 带 权 积分 (7. 45) 的 插值 型 求 积 公式 为 式 (7. 46), 其 积分 节点 
XiELa,bj],(k 二 0,1,… ,nn), 则 式 (7.46) 为 高 斯 求 积 公式 的 充 要 条 件 是 : 以 积分 节点 为 零点 
的 多 项 式 wii(x) 二 (x 一 XT0) (x 一 T1)…(x 一 x1) 与 任何 次 数 不 超 过 的 多 项 式 P(x) 在 区 间 
[a, 6JjJ 上 带 权 p(x) 正 交 , 即 


b 
| 了 PCz)wnH(Cz)oCz)dz 一 0 。 (7.47) 


【证 明 】 先 证 必要 性 。 假 设 该 求 积 公式 为 高 斯 求 积 公式 ,证 明 式 (7.47) 成 立 。 由 于 求 
积 式 (7.46) 具 有 2n 十 1 次 代数 精度 ,注意 到 P(r)w,ri(z) 为 次 数 不 高 于 2n 十 1 次 的 多 项 式 ， 
所 以 


ly 
| PCz)wnH(Cz)po(z)drz = PAP wm(z) = 0, 
本 k=0 
即 w,ri(x) 与 任何 次 数 不 超 过 的 多 项 式 P(zr) 带 权 正 交 。 
再 证 充分 性 。 已 知 对 VPCz)EP,， [Pom pc) de 三 0, 要 证 求 积 式 (7. 46) 为 高 


斯 求 积 公式 , 即 对 它 对 于 任意 被 积 函 数 f(x)E P+i 的 积分 都 是 准确 的 。 首先 ,用 wri(x) 除 
f(z) ,得 到 
f(z) 一 PCz)wsHh(Cz) 十 Q(Cz)， 
由 于 /(z)EPs+, 则 上 式 中 P,(Cz),Q,(z)EP,。 在 积分 节点 处 ， 
Cr) = P(x)wan Ti) Q(T) = Q(T), (k=0,1,,n), 
即 f(x) 与 余 式 Q, (z+) 有 相同 的 函数 值 。 现在 来 看 f(x) 的 带 权 积 分 


b b b 
| frpo(r) dr -| P(xz)wnn (rz)p(r)dr | QuGz)p(z)dz 
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=| ao.coocmdr， 
由 于 式 (7. 46) 为 插值 型 求 积 公式 , 它 必定 对 于 次 数 不 高 于 的 多 项 式 函 数 准 确 , 因 此 


本 攻 
| reoocmdz 一 > AQ, 71) = DAif xi) 六 
a k=0 k=0 


这 说 明 求 积 公式 对 任意 的 f(x) E€ P+ 都 准确 ,因此 是 高 斯 求 积 公 式 。 证 毕 。 国 

定理 7.7 为 求 高 斯 点 提供 了 依据 ,只 需 找到 一 个 与 任何 次 数 不 超过 的 多 项 式 PCz) 都 
带 权 正 交 的 n 十 1 次 多 项 式 , 则 其 zx 十 1 个 不 重复 的 零点 就 是 高 斯 点 。 很 自然 地 想到 第 6 章 
介绍 的 正 交 多 项 式 族 。 设 (po(Cz),p(Cz) ,gs(X) ,gyri1(X)) 为 [a, 拉 上 关于 权 po(Cz) 的 正 交 
多 项 式 族 , 且 pj;(z) 为 j 次 多 项 式 . 则 nn 十 1 次 多 项 式 pr1(x) 就 是 我 们 所 需要 的 。 注意， 
6.2.2 节 曾 介绍 构造 正 交 多 项 式 的 Gram-Schmidt 正 交 化 过 程 ,以 及 正 交 多 项 式 的 几 条 性 
质 ,其 中 ,性 质 (5) 说 明 g(x) 二 0 的 n 十 1 个 根 均 为 区 间 (a, 65) 上 的 实数 , 且 均 为 单 根 。 这 
正好 满足 作为 高 斯 点 的 要 求 , 因 此 求 正 交 多 项 式 w+i(z) 的 零点 即 得 到 高 斯 点 。 

求 出 高 斯 点 后 ,可 根据 插值 型 求 积 公式 的 系数 公式 (7.4) 求 积分 系数 , 即 


A; = | copecmar， (下 天 0 1 28)5 
其 中 ,W(x) ,一 0,1, ,7 为 节点 zozi ,zs 对 应 的 拉 格 朗 日 插值 基 函 数 。 
下 面 讨论 高 斯 求 积 公 式 的 稳定 性 、 余 项 和 收敛 性 。 由 于 阶 高 斯 求 积 公式 具有 2n 十 1 


次 代数 精度 ,车 被 积 函 数 f(z) 二 B(x) ,lj (xz) 为 n 次 拉 格 朗 日 插值 基 函 数 , 它 也 是 准确 
的 , 即 


站 
[ce dr 一 Da) =Aj, (j=0,1,2,%,n) 。 
加 k=0 


显然 [cecae > 0, 所 以 积分 系数 均 大 于 0, 高 斯 求 积 公式 是 稳定 的 。 
类 似 于 辛普森 公式 的 积分 余 项 ,有 如 下 关于 高 斯 求 积 公式 余 项 的 定理 。 


定理 7.8; 若 函 数 /(z) 足 够 光滑 , 则 高 斯 求 积 公式 1 二 >A/ (zw) 的 积分 余 项 为 


R,[/f] =| f (pc dr — DArf Cx) 
2 k=0 


_ 
(2n 二 2)! 
其 中 ,wri 二 (x 一 x0)*… (x 一 x,)。 

证 明 的 思路 与 推导 辛普森 公式 的 积分 余 项 非常 类 似 , 要 利用 高 斯 求 积 公式 有 2n 十 1 次 
代数 精度 的 性 质 。 考查 满足 条 件 PCzi) 二 f(x),P' (zr) 二 (xi) (R= 二 0,1,…,n) 的 2n 十 1 
次 多 项 式 函 数 P(x) ,高 斯 积分 余 项 就 是 P(x) 一 f(x) 的 积分 。 注意 ,P(x) 实 际 上 是 针对 节 
点 wzis oz 的 (zx) 的 高 次 埃 尔 米 特 插值 函数 ,其 插值 余 项 为 三 < 人 wz410x)。 然 后 使 
用 第 一 积分 中 值 定理 就 可 证 明 结 论 ,详细 过 程 留 给 读者 思考 。 值得 一 提 的 是 ,这 里 的 函数 
wuti(z) 为 正 交 多 项 式 ， | sscoecodr 实际 上 是 其 广义 2- 范 数 的 平方 (参见 第 6 章 有 关 


内 容 ) 。 
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关于 高 斯 求 积 公式 的 收 仇 性 ,不 加 证 明 地 给 出 如 下 定理 。 
定理 7.9; 设 /(z) EC[a,6], 则 高 斯 求 积 公式 1 二 》 Aur(as) 是 收敛 的 , 即 
k=0 


b 
limT。 = | /fp dr 


7.6.2 高 斯 - 勒 让 德 积分 公式 及 其 他 


7.6.1 节 指出 ,高 斯 点 为 正 交 多 项 式 的 零点 。 对 于 第 6. 2. 2 节 介 绍 的 各 种 正 交 多 项 式 ， 
相应 地 有 不 同 的 高 斯 求 积 公式 。 我们 重点 关注 勒 让 德 多 项 式 对 应 的 公式 , 它 的 积分 区 间 为 
[一 1,1], 权 函数 为 p(x) 二 1, 这 个 求 积 公式 称 为 高 斯 - 勒 让 德 求 积 公式 。 

求解 勒 让 德 多 项 式 对 应 的 方程 可 得 到 高 斯 - 勒 让 德 公式 的 积分 节点 ,然后 再 求 对 应 的 
积分 系数 。 实际 应 用 中 常常 预先 算出 这 些 值 , 见 表 7-7, 应 注意 高 斯 - 勒 让 德 公式 的 积分 节点 
是 关于 原点 对 称 的 ,而 互 为 相反 数 的 两 个 高 斯 点 有 相同 的 积分 系数 。 另外 ,n= 二 1 时 的 高 斯 - 
勒 让 德 求 积 公 式 就 是 前 面 例 7. 8 中 求 出 的 结果 。 


表 7-7 高 斯 - 勒 让 德 求 积 公式 的 积分 节点 和 系数 


n Zk A: n Zk A 
0 0.000 0000 2.000 0000 士 0.906 179 8 0. 236 926 9 
1 二 OG 4 士 0.538 469 3 0.478 628 7 
0.000 0000 0.568 888 9 
士 0.774 5967 0.555 555 6 
0.000 0000 0. 888 888 9 士 0.932 469 5 0.171 3245 
0. 8611363 0.347 854 8 5 士 0.661 209 4 0.360 7616 
士 0.339 9810 0. 652 145 2 士 0. 238 619 2 0.467 9139 
i % ~ 厂 
对 于 一 般 区 间 上 的 积分 工 一 | 了 (x)dr, 可 通过 变量 代 换 将 其 转换 为 [一 1,1] 上 的 积分 ， 


再 利用 高 斯 - 勒 让 德 求 积 公式 计算 。 

例 7.9( 高 斯- 勒 让 德 积分 ): 用 高 斯 - 勒 让 德 公式 计算 积分 1 一 | Sinzdz, 将 结果 与 
Romberg 积分 算法 做 比较 (结果 见 例 7.5)。 

【 解 】 设 <=0.5 十 0. 54, 则 了 一 十 | ， Sinzd'。 根据 高 斯- 勤 让 德 积分 表 , 可 先 计算 


TT 


和 EE 
| sin(0. 5 十 0. 5D 4 ， 


-0.5 十 0.5 
然后 再 得 到 工 的 值 。 假 设 阶 高 斯 - 勒 让 德 积分 的 积分 节点 与 系数 分 别 为 zx;、Ai(k 二 0， 
1,2,… ,nn), 则 


Ai 
取 "一 4, 根据 表 7-7 计算 出 五, 进而 得 到 了 的 近似 值 =1,/2 二 0. 946 083 12, 与 例 
7.5 的 结果 相 比 ,高 斯 积分 使 用 同样 的 5 个 节点 ,但 结果 的 准确 度 比 Romberg 算法 更 高 。 国 
不 同 的 权 函 数 对 应 不 同 的 高 斯 求 积 公 式 ,只 需求 出 相应 正 交 多 项 式 的 零点 即 得 到 相应 
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高 斯 - 切 比 雪夫 公式 ,而 区 间 ( 一 = ,十 ==) 上 权 函 数 p(z) 一 er 的 求 积 公式 为 高 斯 - 埃 尔 米 
特 公式 。 利 用 高 斯 - 埃 尔 米 特 公 式 可 计算 形 如 1 = [we dz 的 无 界 区 间 积 分 , 它 在 涉 
及 随机 属性 的 问题 中 应 用 较 广 。 由 于 标准 正 态 分 布 的 随机 变量 X 遵循 的 概率 密度 函数 为 
a 因此 可 用 高 斯 - 埃 尔 米 特 求 积 公 式 计 算 随 机 函数 下 (X) 的 数学 期 户 


bu 


的 高 斯 点 ,然后 再 求 积分 系数 。 例如 ,区 间 [ 一 1,1] 上 权 函 数 oCz) 一 的 求 积 公 式 为 


NX0;1)= 


Ho | 六 oo 1 和 
EL[LF(X)] =| Ply eTdr | /Ze) a dz， 


2r 于 bs 
由 于 高 斯 积分 的 特点 ,对 于 较 高 次 的 多 项 式 函 数 F(x) , 它 也 能 得 到 准确 的 结果 。 

计算 高 斯 求 积 公式 的 积分 节点 , 需 使 用 非 线 性 方程 求解 算法 ,如 牛顿 法 等 技术 。 对 于 高 
斯 - 勒 让 德 .高 斯 - 切 比 雪夫 、 高 斯 - 拉 盖 尔 、 高 斯 - 埃 尔 米 特等 常用 公式 ,文献 [5j 给 出 了 计算 
积分 节点 和 系数 的 程序 。 一 般 的 数学 手册 中 也 包括 这 些 积 分 节点 和 系数 的 值 。 

一 旦 有 了 预先 计算 好 的 高 斯 点 和 系数 ,高 斯 积分 的 程序 编制 非常 简单 。 对 于 特定 的 应 
用 问题 ,常常 根据 经 验 可 定 出 合适 的 阶 数 ,因此 用 高 斯 积分 可 达到 很 高 的 效率 与 准确 度 的 
折 中 。 然而 ,节点 数 不 同 的 高 斯 公式 一 般 没有 公共 节点 ,这 导致 与 一 组 节点 对 应 的 函数 值 在 
用 另 一 组 节点 计算 积分 时 不 能 被 利用 。 因 此 ,有 人 提出 扩展 的 高 斯 积分 公式 ,它们 在 自 适应 
积分 、 区 间 折 半 的 复合 积分 等 需要 两 组 求 积 公式 的 场合 非常 有 用 。 

扩展 的 高 斯 积分 公式 的 基本 思想 是 限定 一 些 积分 节点 的 位 置 ,再 确定 其 他 一 些 积分 节 
点 和 所 有 积分 系数 ,使 整体 代数 精度 尽量 高 。 例 如 ,Lobatto 公式 限定 区 间 端 点 为 积分 节点 ， 
这 样 的 阶 公 式 可 达到 2n 一 1 次 代数 精度 ; 另 一 种 Kronrod 公式 与 常规 的 高 斯 公式 成 对 使 
用 ,一 个 含 个 节点 的 高 斯 公式 与 22 十 1 个 节点 的 Kronrod 公式 对 应 。 通 过 限定 使 用 这 
nn 个 高 斯 点 ,然后 按 求 积 公式 达到 最 高 代数 精度 的 要 求 确定 其 他 nn 十 1 个 节点 和 2n 十 1 个 系 
数 ,这样 得 到 的 Kronrod 公式 有 3n 十 1 次 代数 精度 四。 

介绍 了 各 种 数值 积分 方法 后 ,下 面 简 单 讨论 二 维 ,\ 三 维 积分 的 计算 。 实际 上 ,只 将 多 重 
积分 写成 累 次 积分 的 形式 ,例如 : 


b fdlr) 
rs (zy)dydzr， (7.48) 
ay cr) 


就 可 以 使 用 前 面 介绍 的 一 维 积分 方法 计算 。 假设 第 一 重 积分 使 用 形 如 > Aig (zi) 的 数值 
求 积 公式 ,其 中 g(x) 为 被 积 函 数 , 则 式 (7.48) 成 为 加 

T 和 Da fo ,ydy, 
待 求解 问题 转换 为 若干 个 一 维 积分 的 计算 。 对 于 实际 问题 中 的 二 三维 积分 ,为 了 提高 计算 
效率 ,常常 采用 高 斯 积分 方法 。 


应 用 实例 : 探 月 卫星 轨道 长 度 计 算 


1. 问题 背景 
2007 年 10 月 24 日 18 时 05 分 ,中 国 第 一 颗 探 月 卫星 “嫦娥 一 号 ?在 西昌 卫星 发 射 中 心 
。270 。 
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发 射 升 空 。 卫星 首先 进入 地 球 同步 轨道 围绕 地 球 运动 ,轨道 为 通过 地 球 中 心 的 平面 上 的 李 
圆 ( 见 图 7-6)。 长 征 三 号 甲 运载 火箭 提供 给 卫星 在 近地点 的 速度 大 约 为 10. 3km/s。 这 一 速 
度 比 较 低 ,不 足以 将 卫星 送 往 月 球 轨道 ,需要 将 速度 提高 到 约 10.9km/s, 才 能 使 卫星 奔 向 月 
球 。 为 了 达到 奔 月 速度 ,需要 使 用 卫星 变 轨 调 速 技术 。 

根据 一 些 相关 知识 , 若 知道 卫星 的 近地点 \. 远 地 点 距离 , 便 可 以 计算 卫星 轨道 的 周 长 , 这 
是 一 个 椭圆 积分 问题 。 进 一 步 , 若 知道 卫星 绕 地 球 运 行 的 周期 ,还 可 计算 卫星 运行 的 平均 速 
度 以 及 近地点 速度 ,验证 它 是 否 满 足 奔 月 所 需 的 速度 要 求 。 

2. 方法 原理 

图 7-7 显示 了 卫星 轨道 平面 图 ,其 中 民 为 地 球 半 径 ,h 为 近地点 距离 ,hs 为 远地点 距 
离 ,c 为 椭圆 焦距 。 根据 描述 天 体 运动 规律 的 开 普 勒 第 一 定律 ,地 球 位 于 椭圆 轨道 的 焦点 上 。 
椭圆 的 曲线 方程 为 ( 设 椭圆 中 心 为 坐标 原点 ) 


2 2 
好 
二 十 二 一 1， 
a 


图 7-6 地 球 与 人 造 地 球 卫星 轨道 图 7-7 卫星 轨道 平面 图 


其 中 ,a.b 分别 为 长 半 轴 长 度 和 短 半 轴 长 度 。 根据 图 7-7 易 知 ， 
4 二 锯 十 ho 十 2R 


而 
c=h,+R—a 侍卫 六 
根据 椭圆 焦距 的 计算 公式 ,可 求 出 短 半 轴 长 度 
Ba 


要 求 椭圆 周 长 L, 可 通过 积分 计算 ,做 变量 代 换 ,r+ 二 acos0,y 二 bsin9， 则 
| | 三 a Varcos 0 TF bsini0d 。 
根据 它 可 计算 卫星 运动 的 平均 速度 u。 

要 计算 卫星 的 近地点 速度 , 需 使 用 开 普 勒 第 二 定律 的 知识 , 即 椭圆 轨道 上 运行 的 卫星 束 
度 不 是 常数 ,但 在 相等 时 间 内 ,卫星 与 地 球 连 线 扫 过 的 面积 相等 。 设 卫星 的 轨道 周期 为 工 , 
由 于 椭圆 面积 为 rab, 则 单位 时 间 卫 星 与 地 球 连 线 扫 过 的 面积 为 

Zab 


$= o 


根据 开 普 勒 第 二 定律 ,在 近地点 处 ,卫星 速度 最 大 ,为 


三 25 
™™ ht+R" 
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3. 数值 实验 

在 MATLAB 中 可 进行 数值 实验 ,计算 数值 积分 采用 命令 quad。 已 知 " 嫦 娥 一 号 ”卫星 
初始 轨道 的 近地点 距离 如 二 200km, 远 地 点 距离 hs 二 51 000km, 地 球 半径 尺 一 6378km ,轨道 
周期 为 16h, 则 计算 轨道 长 度 和 近地点 速度 的 程序 如 下 。 


>>h1l=200; h2=51 000; R=6378; 

>>a= (hl+h2) /2+R; 

>>c= (h2-h1)/2; 

>2>b=Sqgrt(a*2 cA2)s 

>>f=@ (x) sqrt (a^2* cos (x) .^2+b^2* sin (x) .~^2); 
>>L=4* quad (f, 0, pi/2) 

>>T=16* 36007 

>>v=L/T 

>>vmax=2* pixaxb/T/ (hl+R) 


计算 结果 显示 ,轨道 周 长 约 为 163 911km, 平 均 速 度 为 2. 846km/s, 近 地 点 速度 为 
10. 302km/s。 默 认 设 置 下 ,quad 程序 计算 积分 时 算 了 149 次 函数 值 。 此 外 ,注意 上 述 程 序 中 
被 积 函 数 的 定义 , 它 使 用 了 匿名 函数 ,而 采用 逐 项 运算 符 也 是 很 必要 的 。 


7.7 数值 微分 


一 般 而 言 ,计算 函数 的 微分 是 一 个 敏感 问题 ,数据 的 小 扰动 可 能 使 结果 变化 很 大 。 这 一 
点 和 积分 正好 相反 ,因为 两 者 是 互 逆 的 过 程 。 图 7-8 显示 了 一 个 函数 扰动 前 后 的 两 条 曲线 ， 
可 以 看 出 ,两 个 函数 的 积分 值 变化 不 大 ,但 导数 却 差 别 很 大 。 

数值 微分 一 般 是 利用 函数 在 离散 点 集 上 的 值 近 ， 
似 计算 其 导数 ,基本 做 法 是 通过 插值 或 最 小 二 乘 拟 
合 得 到 光滑 且 便 于 求 导 的 近似 函数 ,然后 计算 近似 
函数 的 导数 。 若 给 定 的 数据 带 有 干扰 , 需 使 用 最 小 二 
乘 拟 合 才能 得 到 较 准 确 的 结果 。 若 不 考虑 数据 扰动 ， 
则 使 用 插值 比较 方便 。 除 了 数值 微分 ,对 于 解析 式 已 ”可 T 
知 的 函数 ,还 可 使 用 计算 机 程序 自动 求 导 的 方法 图 7-8 扰动 前 后 的 两 条 函数 曲线 
(automatic differentiation) , 它 将 被 求 导 函数 看 成 一 些 
简单 函数 的 组 合 , 然 后 使 用 简单 函数 的 求 导 公 式 以 及 链 法 得 到 解析 的 结果 。 已 有 一 些 有 效 的 
自动 求 导 软件 包 , 这 方面 内 容 超 出 了 本 书 范围 。 

下 面 介 绍 几 种 简单 的 数值 微分 方法 ,它们 常用 于 处 理 表 达 式 未 知 的 函数 ,也 是 微分 方程 
数值 解法 的 基础 。 


7.7.1 基本 的 有 限 差分 公式 


几 种 基本 的 近似 求 导 公式 可 通过 函数 的 差 商 导出 , 常 称 为 有 限 差 分 公式 (finite 
difference formula) ,它们 可 以 近似 理论 上 光滑 函数 的 导数 ,并 用 于 微分 方程 的 数值 解法 。 
给 定 一 个 光滑 函数 f:R 一 R ,要 计算 它 在 某 点 工 的 1、2 阶 导 数 的 近似 值 ,考虑 该 点 和 
。 272 。 


fx) 
f(x) 
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邻近 点 构成 的 1、2 阶 差 商 , 假 设 邻 近 点 为 + 十 h 和 x 一 h,h 称 为 步 长 , 则 
= 


六 名: 远 间 阅 2 (7.49) 
| 人 (7.50) 
ath At fh As 


2h 
由 于 差 商 与 函数 导数 的 关系 ( 式 (6.63)) , 式 (7.49) 一 式 (7. 51) 都 可 用 于 近似 PC(z) ,其 
截断 误差 可 使 用 泰勒 展开 进行 分 析 。 考虑 泰勒 展开 式 


过 
f(z+h) = f(r) +hf (zr)+ f+, [ye 
” h2 _ 
f(z 一 有 = f(z) 一 f(z) + 每/"() 一 …， (7.53) 
则 
Dj(h) = 一 人 = HC Oy (7.54) 
DD = EE pay ONY (7.55) 


h 
这 里 将 式 (7. 49) 和 式 (7. 50) 分 别 记 为 Dj(h) 和 D, (hh), 常 称 为 向 前 差分 公式 (forward 
difference formula) 和 向 后 差分 公式 (backward difference formula)。 式 (7. 54) 、. 式 (7.55) 表 
明 它们 都 具有 1 阶 准确 度 。 将 式 (7. 52) 减 去 式 (7. 53) 再 处 理 , 得 到 


J = = 
2h 


了 D.( 亡 称 为 中 心 差 分 公式 (centered difference formula) 或 中 点 公式 , 它 具 有 2 阶 准 确 度 。 
使 用 2 阶 差 商 , 得 到 2 阶 导数 的 近似 公式 


G.(h) 2f[zx—h,x,x 二 hj] 


D.(h) 


OY (7. 56) 


fF = sk 


Gc(h) 称 为 2 阶 中 心 差分 公式 (2nd-order centered difference formula)。 将 泰勒 展开 
式 (7.52) , 式 (7.53) 相 加 ,整理 得 
G.(h) = f(x) + OR’), (7.58) 

因此 ,2 阶 中 心 差分 公式 也 具有 2 阶 准 确 度 。 中 心 差分 公式 D.(h) 和 2 阶 中 心 差分 公式 
G.(h) 的 准确 度 阶 数 较 高 ,因此 比较 常用 。 

通过 减 小 h 的 值 .可 减 小 上 述 差 分 公式 的 截断 误差 。 但 应 注意 , 当 九 很 小 时 , 舍 入 误差 
对 最 终结 果 也 有 和 较 大 影响 。 因此. 并非 越 小 ,结果 越 准 确 。 第 1 章 的 例 1.4 就 说 明了 这 一 
点 。 下 面 再 举例 分 析 中 心 差分 公式 的 计算 误差 。 

例 7.10( 中 心 差分 的 计算 ): 用 中 心 差分 公式 计算 f(x) 二 Vz 在 x 二 2 处 的 1 阶 导 数 ,并 
分 析 不 同步 长 h 取 值 对 结果 准确 度 的 影响 。 

【 解 】 取 风 一 0.1, 用 中 心 差分 公式 计算 
flrt+h)— fr—mh)  V2.1 一 Vi.9 

2h 2X%X0.1 

二 0.353 663 997 0 。 


(7.57) 


D.(h) = 
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为 了 分 析 不 同步 长 设置 下 中 心 差分 公式 的 准确 度 , 计 算出 准确 的 导数 为 六 (2) = 
二 353 553 390 5。 可 看 出 取 / 一 0.1 时 有 3 位 准确 的 有 效 数 字 。 下 面 逐渐 减 小 ,得 到 
的 中 心 差分 结果 列 于 表 7-8 中 (计算 采用 IEEE 双 精 度 浮 点 数 ) 。 

表 7-8 中 的 数据 说 明 , 当 六 减 小 到 一 定 程度 
后 ,伟人 误差 变 得 很 大 ,使 得 结果 的 误差 反而 增 大 。 
实际 上 ,假设 M 为 | /7(&) | 的 上 界 ,e 为 计算 f(z) 


的 误差 界 , 则 总 误差 限 为 ew 一 4 


表 7-8 步 长 逐渐 减 小 时 中 心 差分 的 结果 
有 h D.(h) 准确 数字 位 数 
10-: | 0.3535544955 


出 10-? 0.353 553 401 6 


107+ 0.353 553 390 7 


器 时 ,使 总 误差 sw 最 小 。 进一步 分 析 知 一 0 0 3900 


Ms=:0.07536,s 盖 10-8, 则 估算 出 误差 最 小 时 10™* | 0.353 553 3906 
Asz*1.6X10-, 这 与 表 7-8 显现 的 现象 基本 符合 。 “10 | 0.353 553 3899 
国 10-: | 0.3535533977 
10-? | 0.353 553 408 8 
7.7.2 插值 型 求 导 公式 10-1 | 0.353 553 852 9 
与 利用 差 商 构造 数值 微分 公式 不 同 , 可 根据 10-” | 0.3535505222 
一 些 离散 点 上 f(z) 的 值 构 造 插值 多 项 式 10-2 | 0.3536060333 
P(x), 然 后 用 P(x) 的 各 阶 导数 近似 /(x) 的 各 阶 
导数 。 这 种 方法 可 得 到 更 一 般 的 近似 求 导 公式 ,它们 被 称 为 插值 型 求 导 公式 。 
设 被 求 导 函数 f(x) 在 节点 zo ,zt ,… ,zx 处 的 函数 值 为 f(ro) ,f(ri),… ,f(zx,) ,构造 7 
次 拉 格 朗 日 插值 多 项 式 


wilalololwo|l~y|lo|low|lIo|lolaua 


P,(z) = pe 
其 中 ,U(x) 为 拉 格 朗 日 插值 基 函 数 ,那么 


PP (zx) = FI fx) Cz) ~ f° (zx), (一 1,2,…)， C789 


k=0 


其 中 ,LB (xz) 的 计算 没有 实质 性 困难 。 

1. 两 点 插值 

设 拉 格 朗 日 插值 的 阶 数 z 王 1, 有 两 个 插值 节点 zo zi( 设 /一 zi 一 zo), 则 可 得 到 一 次 拉 
格 朗 日 插值 多 项 式 


Pi(x) = 六 二 f(zo) 十 产 fr) 
To 


Pp 


aja t je. 


P'Cx) jf (zo) 来 f(z) = Az 0, (7.60) 


当 工 取 值 为 ze 或 m 时 ,这 就 是 近似 广 (z) 的 向 前 差分 公式 或 向 后 差分 公式 。 分 析 它 的 
截断 误差 ,可 利用 拉 格 朗 日 插值 余 项 公式 , 则 
» 274 “。 
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’ nd 7 wri(T) 。d porp 
FO Prt) = fn fe), (7.61) 
其 中 ,wi (zx) 二 (zx 一 x0)*…(x 一 x,)。 由 于 wn(zi) 二 0, 则 
Cnt1) 
Wy = a on), CR 0 (7.62) 
利用 式 (7. 62) ,有 
人 四 OO ， (7.63) 
ey = B= i = OU 。 (7. 64) 


这 分 别 是 向 前 、 向 后 差分 公式 的 截断 误差 ,与 式 (7. 54) ` 式 (7. 55) 的 结果 一 致 。 

2. 三 点 插值 

设 拉 格 朗 日 插值 的 阶 数 n=2,3 个 等 距 插值 节点 为 xo ,zi 二 xo 十 h ,xs 二 zo 十 2h, 则 可 得 
到 二 次 拉 格 朗 日 插值 多 项 式 


(Xz— x1)(z— Zz:) 
(zs ~ Zi) (zo — Zz2) 


Lo)(TO— 


P,(x) = 


f(zo) 二 起 2 


wh — i — 


(w= (Ey eh 


Ln — 


做 变量 代 换 x+==xo 十 t4， 有 
Belo 十 流 》 FC DO oe fs), 
两 端 对 上 求 导 ,得 


3 1 
号 Pa(zo + th) ( 3 ]feaw) C21 Df + ¥ jf, 


RC Psa | ih) 


d 


( 3)fc) 一 人 二 幼 交 站 ( = 去 j/ces) 


i (7.65) 
考查 在 各 插值 点 处 的 值 ,得 到 如 下 的 近似 求 导 公式 ， 
pls) = =3f 0) + 4f C2) — fx) ， 本 
1 
Pla) = —f) + fz) (7.67) 
1 
PCss) = Le — Afr Sf es) 。 (7. 68) 


其 中 , 式 (7. 67) 就 是 计算 (zi) 的 中心 差 分 公式 , 它 少 计算 一 次 函数 值 。 利用 式 (7. 62) 可 类 
似 地 分 析 上 述 三 点 公式 的 截断 误差 ,结果 表明 它们 都 具有 2 阶 准确 度 。 
对 三 点 插值 函数 还 可 以 求 2 阶 甚至 高 阶 导数 。 例如 ,对 式 (7. 65) 再 求 一 次 导数 ,得 
一 人 二 
年 一 
当 z=za 时 ,这 就 是 近似 产 (z) 的 2 阶 中 心 差分 公式 G.(14)。 式 (7. 69) 也 可 近似 
sa 75 5 


PCz) PCz) 


(7. 69) 
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了 (zo) 和 了 产 (xs), 通 过 泰勒 展开 可 分 析 它 们 的 截断 误差 ,得 
fz) —2f (xr) + fx) 
h? 

这 说 明 它 们 仅 有 1 阶 准确 度 。 式 (7. 69) 近 似 f”(zi) 时 的 准确 度 最 高 ( 即 2 阶 中 心 差 
分 ), 具 有 2 阶 准确 度 。 

从 上 述 讨论 看 出 ,只 增加 插值 节点 即 可 构造 出 更 高 精度 或 求 更 高 阶 导数 的 近似 公式 。 
而 对 于 节点 不 等 距 的 情况 ,用 多 项 式 插值 可 类 似 地 构造 出 适合 实际 问题 的 近似 求 导 公式 。 
更 复杂 的 数值 微分 方法 ,可 利用 三 次 样 条 插值 计算 近似 导数 。 


7.7.3 数值 微分 的 外 推算 法 


基于 中 心 差分 公式 的 误差 展开 式 
f (x) — Dh) = a toh ta t+, (7.70) 
其 中 ,a (k= 二 1,2,…) 是 与 无关 的 量 ,也 可 以 使 用 理 查 森 外 推 技 术 得 到 更 准确 的 导数 值 。 
这 个 过 程 与 由 梯形 求 积 公式 外 推出 更 高 阶 的 近似 积分 公式 完全 类 似 。 假设 将 有 变 为 4/2, 则 
/CD 一 D( 生 )= 人 C77 


2 
根据 式 (7.70) 和 式 (7.71) ,得 


4p.(#)- D.(h) 
7 一 一 一 0)。 


f(x) 十 DO(A)，A 一 0,2 。 


Se 


记 


pod EL mh oe 
jm 
则 它 是 更 高 阶 准 确 度 的 近似 求 性 公式 。 将 步 长 h 逐次 减 半 , 可 反复 进行 理 查 森 外 推 。 一 般 
地 ,车 记 DY (4) 二 D.(h), 则 通过 公式 
m (m—1) h Ls (m—1) 
(二 一 四 本 ou (eR 
可 构造 出 高 阶 准确 的 值 序列 Dw (1) ,其 近似 (x) 的 误差 阶 为 OC?"1D) 。 
与 Romberg 求 积 算法 一 样 ,也 可 构造 逐次 外 推 的 数值 求 导 算法 。 但 应 注意 的 是 ,考虑 


到 计算 中 的 舍 人 误差 ,外 推 的 次 数 m 不 能 太 多 ,否则 计算 D. (要 ] 时 ,由 于 步 长 太 小 ,造成 很 


大 的 舍 人 误差 ,而 且 计算 量 也 会 成 比例 增 大 。 

例 7. 11( 数 值 微分 的 外 推 计算 ): 用 逐次 外 推 方法 计算 f(r) 二 x?e “在 + 二 0.5 处 的 
导数 。 

【 解 】 依次 取 央 一 0. 1,0.05,0.025 计算 中 心 差分 的 值 D.(0. 1) .D.(0.05) 、.D.(0. 025) ， 
类 似 于 Romberg 求 积 算法 使 用 的 工 数 表 ,可 显示 结果 以 及 根据 式 (7.72) 得 到 的 外 推 值 列 
表 。 做 两 级 外 推 得 到 的 结果 见 表 7-9。 
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表 7-9 做 两 级 外 推 得 到 的 结果 


h D.(h) DY (pn) DG (1) 
0.1 0.451 604 908 1 
0.05 0.454 076 169 4 0. 454 899 923 1 
0.025 0. 454 692 628 8 0.454 898 115 2 0.454 897 9947 
准确 的 有 效 数 字 位 数 3 5 9 


(0.5) 的 准确 值 为 0.454 897 994 8, 因 此 ,h 二 0.025 的 中 心 差分 结果 有 3 位 准确 的 有 
效 数字 ,外 推 一 次 后 的 结果 有 5 位 准确 数字 ,外 推 两 次 达到 9 位 正确 的 有 效 数 字 。 国 

应 当 指 出 , 理 查 森 外 推 方法 是 很 普遍 的 方法 。 例 如 ,根据 不 同步 长 ,对 应 的 向 前 差分 结 
果 也 可 以 通过 外 推 提 高 准确 度 。 上 述 讨论 中 考虑 中 心 差分 公式 ,是 因为 它 有 更 高 阶 准确 度 ， 
因此 外 推 后 的 结果 也 更 准确 。 


评 述 


1676 年 ,牛顿 在 给 莱 布 尼 效 的 信 中 提出 了 基于 等 距 节点 多 项 式 插 值 的 求 积 思想 。 
1711 年 , 柯 特 斯 系统 地 研究 了 牛顿 的 方法 ,给 出 了 点 数 不 超 过 10 的 所 有 牛顿 - 柯 特 斯 公式 。 
1743 年 ,辛普森 发 表 了 以 他 名 字 命 名 的 求 积 公式 ,实际 上 在 这 之 前 , 柯 特 斯 等 其 他 人 已 对 该 
公式 有 所 了 解 。 高 斯 提出 ,选择 积分 节点 的 最 佳 位 置 可 以 得 到 更 准确 的 求 积 公 式 , 并 于 
1814 年 发 表 了 首 个 高 斯 求 积 公式 。1927 年 ,Richardson 提出 了 以 他 名 字 命 名 的 外 推 方法 ， 
1955 年 ,Romberg 将 它 应 用 于 数值 积分 中 ,得 到 Romberg 求 积 算法 。 第 一 个 自 适应 求 积 程 
序 由 McKeeman 于 1962 年 发 表 。1964 年 ,Kronrod 提出 了 一 种 求 积 公式 ,后 来 得 到 较 广 泛 
的 应 用 。 

本 章 讨 论 的 数值 积分 方法 主要 针对 一 元 函数 ,与 之 相关 的 还 有 如 下 内 容 。 

(1) 一 维 表格 函数 积分 与 广义 积分 。 前 者 通过 离散 数据 点 的 插值 函数 计算 积分 ,常用 
的 是 分 段 线性 插值 和 样 条 插值 ;后 者 包括 被 积 函数 无 界 和 积分 区 间 无 界 两 种 情况 : 一 种 做 
法 是 通过 变量 代 换 去 掉 奇 异 点 或 将 无 界 区 间 变 为 有 界 区 间 ; 另 一 种 做 法 是 多 次 计算 有 限 区 
间 的 积分 ,结合 外 推 方法 近似 广义 积分 。 

(2) 使 用 高 斯 求 积 公式 的 自 适应 积分 。 这 需要 将 高 斯 积分 的 思想 加 以 扩展 ,如 前 面 提 
到 的 Lobatto 公式 和 Kronrod 公式 。 自 适应 积分 需要 一 对 求 积 公式 ,它们 的 差 将 作为 误差 
估计 ,而 且 为 使 函数 调用 次 数 最 少 , 求 积 公式 之 间 必 须 共用 一 些 积 分 节点 。 因 此 ,使 用 高 阶 
Lobatto 公式 、Kronrod 公式 的 自 适应 高 斯 求 积 算法 被 很 多 数值 积分 软件 所 使 用 (如 
MATLAB 中 的 函数 quadl 和 quadgk)。 

(3) 多 重 积分 。 通 过 累 次 积分 可 将 一 维 积分 的 方法 推广 到 二 维 以 上 的 多 重 积 分 ,但 随 
着 维 数 增加 ,计算 量 也 迅速 增加 。 计 算 高 维 积分 ( 重 数 大 于 3) 的 有 效 方法 是 蒙特 卡 洛 
(Monte Carlo) 方 法 , 它 在 积分 区 域 中 随机 选取 采样 点 ,然后 将 它们 对 应 函数 值 的 平均 值 与 
积分 区 域 “体积 ” 相 乘 得 到 积分 的 估计 值 . 蒙特 卡 洛 方法 的 特点 是 收敛 速度 与 维 数 无 关 , 因 
此 特别 适合 维 数 很 高 的 积分 计算 。 有 关 蒙 特 卡 洛 方法 的 更 多 内 容 , 可 参考 文献 [1j]。 
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表 7-10 列 出 一 些 数值 积分 程序 或 命令 ,其 中 ,很 多 一 维 求 积 程序 使 用 基于 高 斯 公式 的 
自 适应 积分 算法 。 除了 表 7-10 中 列 出 的 ,还 有 一 些 计算 高 斯 求 积 公 式 中 节点 和 系数 (也 称 
为 权 值 ) 的 程序 ,如 Netlib 中 的 gaussg 发 表 在 TOMS 上 的 orthpol 包 ( 井 726) 中 的 gauss 和 
gqrat( #793) 等 。 数值 积分 软件 一 般 要 求 用 户 输入 被 积 函 数 求 值 的 程序 名 、 积 分 区 间 端 点 以 
及 误差 阅 值 ,而 输出 还 可 能 有 误差 估计 值 警告 或 错误 标志 以 及 计算 函数 值 的 次 数 等 。 


表 7-10 一 些 数值 积分 程序 或 命令 


软件 /程序 包 一 维 积分 二 维 积分 更 高 维 积分 
FMM ds 

HSL qa02/qa04/qa05 qb01/qm01 
MATLAB quad/quadl/quadgk dblquad/quad2d triplequad 
NAG d01ajf d01daf d01fcf 

NR vegas/miser dfridr 

TOMS squank( #379) cubtri( #584) dcuhre( # 698) 
TOMS qxg/qxgs( #691) triex( # 612) deutet( #720) 
TOMS quad( #699) dcutri( #706) 

TOMS cubpack( #764) 


数值 微分 的 软件 主要 有 HSL 中 的 tdol、IMSL 中 的 deriv\MATLAB 中 的 diff NAG 中 
的 do4aaf 等 。 此 外 ,还 有 很 多 自动 求 导 的 软件 包 , 有 关 信 息 可 参考 网 站 www. mcs. anl. gov/ 
adifor, 以 及 文献 : 

* Griewank, Evaluating Derivatives: Principles and Techniques of Algorithmic 

Differentiation, SIAM Press, 2000. 

除了 数值 积分 、 微 分 方法 , MATLAB 中 的 符号 数学 工具 箱 (Symbolic Math Toolbox) 
提供 了 精确 积分 与 求 导 的 功能 ,进行 解析 积分 的 命令 为 int, 而 求 导 的 命令 为 diff。 使 用 命 
令 syms 定义 了 符号 变量 以 及 函数 的 符号 表达 式 后 ,就 可 以 用 它们 求 原 函 数 与 各 阶 导 数 ,这 
在 实际 应 用 中 有 时 是 很 方便 的 。 

关于 外 推 方法 的 全 面 介绍 , 见 文献 : 

。 C. Brezinski, M. Redivo Zaglia, Exztrapolation Methods: Theory and Practice, 

Elsevier Press, New York, 1991. 

对 于 积分 方程 .微分 方程 的 数值 求解 ,有 大 量 专门 的 书籍 讨论 。 

【本 章 知识 点 】 机 械 求 积 公 式 ;积分 余 项 ;代数 精度 ;插值 型 求 积 公式 及 其 代数 精度 ;中 
矩形 公式 ,梯形 公式 ; 求 积 公式 的 稳定 性 ; 求 积 公式 的 收敛 性 ;牛顿 - 柯 特 斯 公式 及 其 代数 精 
度 ; 柯 特 斯 系数 ;辛普森 公式 、 柯 特 斯 公式 ;梯形 公式 、 辛 普 森 公式 的 积分 余 项 ;复合 梯形 公 
式 ; 等 距 节点 求 积 公式 的 准确 度 阶 数 ;复合 辛普森 公式 ; 步 长 折 半 情况 下 的 复合 求 积 公式 计 
算 ;复合 梯形 公式 的 余 项 展开 式 ; 理 查 森 外 推 法 ; 龙 贝 格 积分 算法 ; 自 适应 积分 算法 的 原理 ; 
高 斯 求 积 公式 ; 带 权 积分 的 高 斯 求 积 公 式 :高 斯 点 的 性 质 以 及 高 斯 求 积 公 式 的 构造 :高 斯 - 勒 
让 德 公式 ;向 前 、 向 后 、 中 心 差分 公式 ;2 阶 中 心 差分 公式 ;有 限 差 分 公式 的 准确 度 阶 数 ;插值 
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型 求 导 公式 ;数值 微分 的 外 推算 法 。 
算法 背后 的 历史 :“ 数 学 王子 ”高 斯 


约翰 。 卡 尔 。 弗 里 德里 希 。 高 斯 (Johann Carl Friedrich Gauss,1777 年 4 月 30 日 一 
1855 年 2 月 23 日 , 见 图 7-9) 是 德国 著名 数学 家 、 物 理学 家 、 天 文学 
家 、 大 地 测量 学 家 。 高 斯 的 成 就 遍及 数学 的 各 个 领域 ,在 数论 、 非 欧 
几何 、 微 分 几何 、 超 几何 级 数 、 复 变 函 数论 及 椭圆 函数 论 等 方面 均 有 
开创 性 贡献 。 高 斯 被 公认 为 是 19 世纪 最 伟大 的 数学 家 ,与 阿 基 米 
德 .牛顿 并 列 为 世界 三 大 数学 家 。 

高 斯 于 1777 年 4 月 30 日 生 于 布 伦 瑞 克 的 一 个 工匠 家 庭 。 
1792 年 ,15 岁 的 高 斯 进入 布 伦 瑞 克 学 院 , 在 那里 独立 发 现 了 二 项 式 
定理 的 一 般 形式 ,证 明了 “质数 分 布 定理 ”数论 上 的 “二 次 互 反 律 ”。 
1795 年 ,高 斯 进入 哥 延 根 大 学 。1796 年 ,19 岁 的 高 斯 取得 了 一 个 数 
学 史上 极 重要 的 成 果 , 即 论文 “ 正 十 七 边 形 尺 规 作 图 之 理论 与 方 
法 ”。1801 年 ,高 斯 又 证 明了 “Fermat 素数 ” 边 数 的 正 多 边 形 可 以 由 尺 规 法 作出 。 高 斯 从 
1807 年 起 担任 哥 廷 根 大 学 教授 兼 哥 廷 根 天 文 台 台 长 ,直至 逝世 。 

高 斯 的 主要 贡献 举例 

。 高 斯 消去 法 。 

。 质数 分 布 定理 和 最 小 二 乘法 。 

高 斯 分 布 (标准 正 态 分 布 )。 

。 高 斯 求 积 公式 。 

。 无 穷 级 数 的 高 斯 判 化 法 。 

。 发 现 了 谷 神 星 的 运行 轨迹 。 

。 证 明代 数 基本 定理 。 

。 微分 几何 的 创始 人 之 一 。 

高 斯 的 故事 

一 天 ,德国 哥 延 根 大 学 ,一 个 19 岁 的 青年 吃 完 晚饭 ,开始 做 导师 单独 布置 给 他 的 数学 
题 。 正 常情 况 下 ,他 总 是 在 两 个 小 时 内 完成 这 项 作业 。 像 往常 一 样 , 前 两 道 题目 在 两 个 小 时 
内 顺利 完成 了 。 第 三 道 题写 在 一 张 小 纸 条 上 ,要 求 只 用 圆规 和 一 把 没有 刻度 的 直 尺 做 正 十 
七 边 形 ,他 没 多 想 ,埋头 做 起 来 。 然 而 ,做 着 做 着 ,他 感到 越 来 越 吃 力 。 困 难 激 起 了 他 的 斗 
志 : 我 一 定 要 把 它 做 出 来 ! 天 亮 时 ,他 终于 做 出 了 这 道 难题 。 导 师 看 了 他 的 作业 后 惊 果 了 。 
他 用 颤抖 的 声音 对 青年 说 :“ 这 真是 你 自己 做 出 来 的 ? 你 知 不 知道 ,你 解 开 了 一 道 有 2000 
多 年 历史 的 数学 悬案 ? 阿 基 米 德 .牛顿 都 没有 解 出 来 ,你 竟然 一 个 晚上 就 解 出 来 了 ! …… 我 
最 近 正 在 研究 这 道 难题 ,昨天 不 小 心 把 写 有 这 个 题目 的 小 纸 条 夹 在 了 给 你 的 题目 里 。” 多 
年 以 后 ,这 个 青年 回忆 起 这 一 幕 时 ,总 是 说 :“ 如 果 有 人 告诉 我 ,这 是 一 道 有 2000 多 年 历史 
的 数学 难题 ,我 不 可 能 在 一 个 晚上 解决 它 。" 这 个 青年 就 是 数学 王子 高 斯 。 

高 斯 在 1810 年 提出 了 消去 法 ,他 的 这 个 方法 是 为 了 简化 二 次 型 ,而 不 是 为 了 和 矩阵 分 解 。 
实际 上 ,求解 线性 方程 组 中 的 高 斯 消去 法 是 20 世纪 40 年 代 由 Dwyer、 冯 。 诺 依 曼 (von 
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Neumann) 等 人 提出 的 。 高 斯 最 早 提出 ,通过 积分 点 的 最 佳 分 布 可 得 到 更 精确 的 数值 积分 方 
法 ,并 于 1814 年 发 表 了 第 一 个 这 样 的 求 积 公式 ,高 斯 求 积 公式 因此 得 名 。 
高 斯 名 言 
。 数学 是 科学 里 的 皇后 ,数论 是 数学 中 的 女王 。 
。 宁可 少 些 , 但 要 好 些 。 
。 数学 中 的 一 些 美丽 定理 具有 这 样 的 特性 : 它们 极 易 从 事实 中 归纳 出 来 ,但 证 明 却 隐 
藏 得 极 深 。 
。 给 我 最 大 快乐 的 ,不 是 已 懂得 的 知识 ,而 是 不 断 地 学 习 ; 不 是 已 有 的 东西 ,而 是 不 断 
地 获取 ;不 是 已 达到 的 高 度 , 而 是 继续 不 断 地 攀登 。 


练 习 题 
1. 确定 下 列 求 积 公式 中 积分 系数 或 积分 节点 的 待定 值 , 使 其 代数 精度 尽量 高 ,并 指明 


所 构造 的 求 积 公式 具有 的 代数 精度 。 
(1) EE Af(—h) +AofO) + A fh), 


1 
(2) | fd aL 1 2 3) 
一 ! 


2. 车 积分 节点 mi,k 一 0,1,2,… 光 已 给 定 ,要 求 机 械 求 积 公式 的 积分 系数 ,使 得 求 积 公 
式 至 少 具有 nn 次 代数 精度 。 请 根据 定理 7. 1 列 出 待 求解 的 线性 方程 组 ,并 判断 解 的 存在 性 
和 唯一 性 。 

3. 直接 验证 柯 特 斯 公式 

三 7/ Co) + 32f(z1) 二 12f(z2) 二 32f (zs) +7f (x) 
具有 5 次 代数 精度 。 

4 用 辛普森 公式 求 积分 | edz 并 估计 误差 


5. 证 明 下 列 等 式 , 它 们 分 别 说 明了 3 种 矩形 求 积 公 式 及 其 余 项 公式 。 
GD | remdr Gf + 0 NE as 


- 
C2) | fwde = 00) et a WE Cosb)s 

, Cy) 
G) fdr= 0 oj[( 呈 2 A 


6. 对 下 列 积分 ,分 别 用 复合 梯形 公式 和 复合 辛普森 公式 计算 。 其 中 ,n 表示 计算 中 使 
用 nn 十 1 个 区 间 等 分 点 上 的 函数 值 ,然后 比较 两 种 方法 计算 结果 的 准确 度 。 


G) | 1 二 dr， 7 一 8。 
C2) [ Vrdr, n= 4。 
7. 若 用 复合 梯形 公式 计算 积分 = | ear. 区 间 [0,1] 应 该 分 成 多 少 等 分 ,才能 使 截断 
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误差 不 超过 方 X 10 5? 若 改 用 复合 辛普森 公式 ,达到 同样 精度 区 间 [0,1], 应 分 多 少 等 分 ? 


8. 如果 FPCz)>0, 证 明 用 梯形 公式 计算 积分 I 一 | f(x)dz 所 得 结果 比 准 确 值 大 ,并 


说 明 其 几何 意义 。 
9. 用 龙 贝 格 求 积 算法 计算 下 列 积分 ,误差 阔 值 设 为 10 一: 


2 | 
-二 | edz。 
Ne 
10. 证 明 等 式 
jasin 工 工 t 和 
n 31722 51nt 


试 依据 nsin(x/n)(n 二 3,6,12) 的 值 ,用 理 查 森 外 推 方法 求 x 的 近似 值 。 
11. 用 "一 1,2 的 高 斯 - 勒 让 德 公式 分 别 计算 积分 


3 
| ersinzd7。 
1 


12. 将 积分 区 间 分 为 4 等 分 ,用 复合 两 点 高 斯 公式 计算 积分 | da。 


13. 假定 =0.2 时 用 向 前 差分 公式 得 到 导数 的 近似 值 为 一 0. 8333, 在 =0.1 时 用 向 
前 差分 公式 得 到 导数 的 近似 值 为 一 0. 9091, 用 理 查 森 外 推 方法 求 导数 的 更 好 的 近似 值 。 


上 机 题 
1. 编程 实现 龙 贝 格 求 积 算法 7. 1, 用 它 计 算 x 的 近似 值 


| i 一 各 关 
ol++zx? 

(1) 改变 不 同 的 步 长 ,看 结果 误差 怎么 变化 (根据 已 知 的 x 值 ), 是 否 存 在 一 个 最 小 的 
,结果 准确 度 不 再 改善 。 

(2) 用 自 适应 求 积 的 MATLAB 程序 quadtx, 设 置 不 同 的 误差 阔 值 计算 上 述 积分 , 画 出 
积分 节点 的 分 布 情况 。 

(3) 比较 (1)、(2) 两 种 方法 的 计算 量 , 包 括 计算 函数 的 次 数 和 实际 计算 时 间 。 

2. 对 下 述 积分 重新 做 上 机 题 1: 


4 
| Vxln zdz 一 一 到 。 
0 9 
注意 : limwyzln 31 一] 一 0 
和 oo 


3. 修改 自 适应 积分 程序 quadtx' 使 用 中 和 矩阵 公式 和 梯形 公式 计算 同一 个 积分 ,根据 它 
们 的 结果 进行 误差 估计 。 使 用 修改 后 的 程序 重新 计算 例 7.7, 与 原始 的 quadtx 程序 比较 计 
4. 用 数值 积分 方法 近似 计算 


2 
In2 =| 一 dz 
下 忒 
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及 圆周 率 


| i 
er 


(1) 用 复合 Simpson 求 积 公式 计算 ,要 求 绝对 误差 限 小 于 方 X 10 习 , 试 根据 积分 余 项 估 
计 步 长 h 的 取 值 范围 。 按 要 求 选择 一 个 步 长 进行 计算 ,观察 数值 结果 与 误差 要 求 是 否 相符 。 
(提示 : 可 以 利用 MATLAB 的 符号 运算 工具 箱 求 函数 的 高 阶 导 数 表 达 式 , 详 见 命令 


diff、syms、ezplot 的 帮助 文档 。) 
(2) 用 下 面 的 复合 Gauss 公式 计算 近似 积分 


[eu -ea 这 Hea+ 这 ]] 


(b— oh 
4320 


十 f°(&6), & € (a,b), 


其 中 以 二 (6 一 4) /nozit4 一 xi 十 仿 。 复 合 Gauss 积分 的 思想 是 : 将 [a 站 做 等 距 划 分 , 即 zx 一 


a 十 ih(i 二 0,1,2,…,n) ,然后 在 每 个 子 区 间 内 应 用 两 点 Gauss 公式 。 试 对 步 长 h 做 先 验 估 
计 ( 误 差 要 求 与 (1) 同 ), 并 计算 近似 积分 。 
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在 科学 与 工程 问题 中 , 常 微 分 方程 描述 物理 量 的 变化 规律 ,应 用 非常 广泛 。 本章 介 绍 最 基 
本 的 常 微分 方程 初 值 问题 的 解法 ,主要 针对 单个 常 微分 方程 ,也 讨论 常 微分 方程 组 的 有 关 技 术 。 


8.1 3 引 言 


本 节 介 绍 常 微分 方程 以 及 初 值 问 题 的 基本 概念 ,并 对 常 微分 方程 初 值 问 题 的 敏感 性 进 
行 分 析 。 
8.1.1 问题 分 类 与 可 解 性 


很 多 科学 与 工程 问题 在 数学 上 都 用 微分 方程 描述 ,例如 ,天 体 运 动 的 轨迹 、 机 器 人 控制 、 
化 学 反应 过 程 的 描述 和 控制 以 及 电路 瞬 态 过 程 分 析 等 。 这 些 问 题 中 要 求解 随时 间 变 化 的 物 
理 量 , 即 未 知 函 数 y(z) ,t 表示 时 间 , 而 微分 方程 描述 了 未 知 函 数 与 它 的 1 阶 或 高 阶 导 数 之 
间 的 关系 。 由 于 未 知 函 数 是 单 变 量 函 数 ,这 种 微分 方程 被 称 为 常 微分 方程 (ordinary 
differential equation, ODE) , 它 具 有 如 下 的 一 般 形式 ?; 
g(tyysy 9 YO) = 0, (8.1) 
其 中 ,函数 g: Re 一 R 。 类 似 地 ,如 果 待 求 的 物理 量 为 多 元 函数 , 则 由 它 及 其 偏 导 函数 
构成 的 微分 方程 称 为 偏 微分 方程 (partial differential equation,PDE) 。 偏 微分 方程 的 数值 解 
法 超出 了 本 书 范围 ,但 其 基础 是 常 微分 方程 的 解法 。 
在 实际 问题 中 ,往往 有 多 个 物理 量 相互 关联 ,它们 构成 的 一 组 常 微 分 方程 决定 了 整个 系 
统 的 变化 规律 。 首 先 针 对 单个 常 微分 方程 的 问题 介绍 一 些 基 本 概念 和 求解 方法 ,然后 在 第 
8. 5 节 讨论 常 微分 方程 组 的 有 关 问 题 。 
如 式 (8. 1) , 若 常 微分 方程 包含 未 知 函 数 的 最 高 阶 导 数 为 y* , 则 称 为 阶 常 微分 方程 。 
大 多 数 情况 下 ,可 将 常 微分 方程 (8. 1) 写 成 如 下 的 等 价 形式 : 
De A nD), (8.2) 
其 中 ,函数 f: R11 一 R 。 这 种 等 号 左边 为 未 知 函 数 的 最 高 阶 导数 y* 的 方程 称 为 显 式 常 微 
分 方程 ,对 应 的 形 如 式 (8. 1) 的 方程 称 为 隐 式 常 微分 方程 。 
通过 简单 的 变量 代 换 ,可 将 一 般 的 & 阶 常 微分 方程 转换 为 1 阶 常 微 分 方程 组 。 例如 ,对 
于 方程 (8.2) , 设 姑 (=y( ,ao 人 (一 (2) ot.(1) 二 y(t), 则 得 到 等 价 的 1 阶 显 式 常 
微分 方程 组 为 


(8.3) 


/ 
us= (ta Us) 


@ 为 了 表达 式 简洁 ,在 常 微分 方程 中 一 般 省 略 函 数 的 自 变量 ,即将 y() 简 记 为 y,y (2) 简 记 为 y ,等 等 。 
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本 书 仅 讨论 显 式 常 微分 方程 ,并 且 不 失 一 般 性 ,只 需 考虑 1 阶 常 微分 方程 或 方程 组 。 
例 8.1(1 阶 显 式 常 微分 方程 ): 试用 微 积分 知识 求解 如 下 1 阶 常 微分 方程 : 
y = 


【 解 】 采用 分 离 变 量 法 进行 推导 


对 两 边 积分 ,得 到 原 方程 的 解 为 
y(Ct) 一 ce， 
其 中 ,c 为 任意 常数 。 国 
从 例 8.1 看 出 , 仅 根 据 常 微分 方程 一 般 无 法 得 到 唯一 的 解 。 要 确定 唯一 解 ,还 要 在 一 些 
自 变 量 点 上 给 出 未 知 函数 的 值 , 称 为 边界 条 件 。 一 种 边界 条 件 的 设置 方法 是 给 出 :=io 时 未 
知 函 数 的 值 
y(to) = yo。 
在 合理 的 假定 下 ,从 to 时刻 对 应 的 初始 状态 w 开始 , 常 微分 方程 决定 了 未 知 函数 在 :> 
时 的 变化 情况 。 也 就 是 说 ,这 个 边界 条 件 可 以 确定 常 微分 方程 的 唯一 解 ( 见 定理 8.1)。 相 应 
地 , 称 y(to) 二 yo 为 初始 条 件 , 而 带 初始 条 件 的 常 微分 方程 问题 
2 折 生 砂 三 玫 区 而 
(8.4) 
y(to) = yo 
为 初 值 问 题 (initial value problem,IVP)。 
定理 8.1: 若 函 数 f(1,y) 关 于 y 满足 利 普 希 英 (Lipschitz) 条 件 , 即 存在 常数 二 二 0, 使 得 
对 任意 :三 to ,任意 的 y 与 9, 有 
| (8. 5) 
则 常 微分 方程 初 值 问 题 (8. 4) 存 在 唯一 的 解 。 
一 般 情 况 下 ,定理 8. 1 的 条 件 总 是 满足 的 ,因此 常 微分 方程 初 值 问 题 的 解 总 是 唯一 存在 


的 。 为 了 更 清楚 地 理解 这 一 点 ,考虑 /10453) 的 偏 导数 存在 , 则 它 在 求解 区 域内 可 推出 利 
普 希 茨 条 件 (8. 5) ,因为 
F(Gty) — f(t) ER 3), 


其 中 ,为 介 于 y 和 5 之 间 的 某 个 值 . 设 工 为 3 ce | 的 上 界 , 式 (8.5) 即 得 以 满足 。 


对 式 (8.4) 中 的 1 阶 党 微分 方程 还 可 进一步 分 类 。 若 f(1,y) 是 关于 y 的 线性 函数 ， 
flt1y) = alt)y +0), (8.6) 
其 中 ,a(t) .OO 表示 自 变 量 为 上 的 两 个 一 元 函数 , 则 对 应 的 常 微 分 方程 为 线性 常 微 分 方程 ， 
车 4(1) 二 0, 则 为 线性 齐 次 常 微分 方程 。 例 8. 1 中 的 方程 属于 线性 、 齐 次 、 常 系数 微分 方程 ， 
这 里 的 “ 常 系数 ”是 强调 a(1) 为 常数 函数 。 


8.1.2 问题 的 敏感 性 


对 常 微分 方程 初 值 问 题 , 可 分 析 它 的 敏感 性 , 即 考虑 初 值 发 生 扰动 对 结果 的 影响 。 注意 
这 里 的 结果 ( 解 ) 是 一 个 函数 ,而 不 是 一 个 或 多 个 值 。 由 于 实际 应 用 的 需要 ,分 析 常 微分 方程 
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初 值 问题 的 敏感 性 时 主要 关心 上 co 时 >(D 受 影响 的 情况 ,并 给 出 有 关 的 定义 。 此 外 ,考虑 
到 常 微分 方程 的 求解 总 与 数值 算法 交织 在 一 起 以 及 历史 的 原因 ,一 般 用 “稳定 ”不 稳定 ”等 
词汇 说 明 问 题 的 敏感 性 。 

定义 8.1: 对 于 常 微分 方程 初 值 问 题 (8. 4) ,考虑 初 值 yo 的 扰动 使 问题 的 解 >(i) 发 生 偏 
差 的 情形 。 若 1 一 吕 时 ,y (7) 的 偏差 被 控制 在 有 界 范围 内 , 则 称 该 初 值 问 题 是 稳定 的 
(stable) ,否则 该 初 值 问题 是 不 稳定 的 (unstable)。 特别 地 ,车 1 一 吕 时 ,y(?) 的 偏差 收敛 到 
0, 则 称 该 初 值 问 题 是 渐进 稳定 的 (asymptotically stable)。 

关于 定义 8. 1 ,说 明 以 下 两 点 。 

(1) 渐进 稳定 是 比 稳定 更 强 的 结论 , 若 一 个 问题 是 渐进 稳定 的 , 它 必 然 是 稳定 的 。 

(2) 对 于 不 稳定 的 常 微分 方程 初 值 问题 ,初始 数据 的 扰动 将 使 二 co 时 的 结果 误差 无 穷 
大 。 因 此 ,为 了 保证 数值 求解 的 有 效 性 , 常 微分 方程 初 值 问题 具有 稳定 性 是 非常 重要 的 。 

例 8.2 ( 初 值 问题 的 稳定 性 ): 考查 如 下 “模型 问题 ”的 稳定 性 : 

y =Ay, it 宇 i 


C807 
y(to)= yo 


【 解 】 易 知 此 常 微分 方程 的 准确 解 为 y(1) 二 yoe"%。 假设 初 值 经 过 扰动 后 变 为 yo 十 

Ay ,对 应 的 扰动 后 解 为 
$1) = (yo Ayo) ee’, 
所 以 扰动 带 来 的 误差 为 
Ay(t) 一 Ayoexo) 。 

根据 定义 8. 1, 需 考虑 :一 c= 时 Ay(4) 的 值 , 它 取 决 于 4。 易 知 , 若 4 二 0, 则 原 问题 是 稳定 的 ; 
车 4 二 0, 则 原 问 题 不 稳定 ;而 且 当 4<0 时 , 原 问题 渐进 稳定 。 国 

图 8-1 分 3 种 情况 显示 了 初 值 扰 动 对 问题 ( 见 式 (8.7)) 的 解 的 影响 ,从 中 可 以 看 出 不 稳 
定 、 稳 定 \ 渐 进 稳定 的 不 同 含义 。 


¥ Ot t 
(a) 4>0 对 应 的 不 稳定 问题 (b) 4=0 对 应 的 稳定 问题 (c) 4<0 对 应 的 渐进 稳定 问题 
图 8-1 初 值 扰 动 对 问题 ( 见 式 (8.7)) 的 解 的 影响 


对 例 8. 2 中 的 模型 问题 , 若 考虑 参数 4 为 一 般 的 复数 , 则 问题 的 稳定 性 取决 于 4 的 实 
部 ,车 Re(4) 三 0, 则 问题 是 稳定 的 ,否则 不 稳定 。 例 8. 2 的 结论 还 可 推广 到 线性 、 常 系数 常 
微分 方程 , 即 根据 f(z,y) 中 y 的 系数 可 确定 初 值 问题 的 稳定 性 。 对 于 一 般 的 线性 常 微分 方 
程 (8. 6) ,由 于 方程 中 y 的 系数 为 关于 : 的 函数 ,因此 仅 能 分 析 : 取 某 个 值 时 的 局 部 稳定 性 。 
例 8.3 (局 部 稳定 性 ): 考查 如 下 常 微 分 方程 初 值 问题 的 稳定 性 : 
y =— 1l0ty, £0 
Wn 一 1 
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【 解 】 此 常 微分 方程 为 线性 常 微分 方程 ,其 中 y 的 系数 为 a(1) = 一 101。 当 1 宇 0 时 ， 
a(lz) 过 0, 在 定义 域内 每 个 时 间 点 上 该 问题 都 是 局 部 稳定 的 。 图 

事实 上 ,方程 (8. 8) 的 解析 为 y(1) = 二 e-”, 初 值 扰 动 Ay 造成 的 结果 误差 为 Ay(1) = 
Ayoe-”。 这 说 明 初 值 问题 ( 见 式 (8. 8)) 是 稳定 的 。 

对 于 更 一 般 的 1 阶 常 微分 方程 (8.4) ,由 于 其 中 f(z,y) 可 能 是 非 线性 函数 ,分 析 它 的 稳 
定性 非常 复杂 。 一 种 方法 是 通过 泰勒 展开 用 一 个 线性 常 微分 方程 近似 它 ,再 利用 线性 常 微 
分 方程 稳定 性 分 析 的 结论 了 解 它 的 局 部 稳定 性 。 具体 地 说 ,在 某 个 解 函 数 y* (4) 附近 用 1 阶 
泰勒 展开 近似 Fi,y)， 


i 2 + Cy R= 
则 原 微分 方程 被 局 部 近似 为 (用 符号 x 代替 >) 


z= Ly zy +f) 
这 是 关于 未 知 函数 xz(7) 的 1 阶 线性 常 微分 方程 ,可 分 析 1 取 某 个 值 时 的 局 部 稳定 性 。 


因此 ,对 于 具体 的 >” (1) 和 + 的 取 值 , 常 微分 方程 初 值 问题 ( 见 式 (8.4)) 的 局 部 稳定 性 取决 


于 区 cy ) 的 实 部 的 正 负 号 。 应 注意 的 是 ,这 样 得 到 的 关于 稳定 性 的 结论 只 是 局 部 有 


效 的 。 
实际 遇 到 的 大 多 数 常 微分 方程 初 值 问题 都 是 稳定 的 ,因此 在 后 面 讨论 数值 解法 时 ,这 常 
常 是 默认 的 条 件 。 


8.2 简单 的 数值 解法 与 有 关 概 念 


大 多 数 常 微分 方程 都 无 法 解析 求解 (尤其 是 常 微分 方程 组 ), 只 能 得 到 解 的 数值 近 
似 。 数 值 解 与 解析 解 有 很 大 差别 , 它 是 解 函 数 在 离散 点 集 上 近似 值 的 列表 ,因此 求解 常 微 
分 方程 的 数值 方法 也 称 为 离散 变量 法 。 本 节 先 介绍 最 简单 的 常 微分 方程 初 值 问题 解 
法 一 一 欧 拉 法 (Euler method) ,然后 给 出 数值 解法 的 稳定 性 和 准确 度 的 概念 ,最 后 介绍 两 
种 隐 格 式 解 法 。 


8.2.1 欧 拉 法 


数值 求解 常 微分 方程 初 值 问 题 , 一 般 都 是 “ 步 进 式 ” 的 计算 过 程 , 即 从 to 开始 依次 算出 
离散 自 变 量 点 上 的 函数 近似 值 。 这些 离散 自 变量 点 和 对 应 的 函数 近似 值 记 为 
to<h< tt 
ory Yn Vatl 
其 中 ,yo 是 根据 初 值 条 件 已 知 的 。 相 邻 自 变量 点 的 间距 为 六 一 志 + 一 4,, 称 为 步 长 。 
数值 解法 通常 使 用 形 如 
yeH = Gyrp Yrs Yel Yk) (8.9) 
的 计算 公式 ,其 中 ,G 表示 某 个 多 元 函数 。 式 (8. 9) 是 若干 个 相 邻 时 间 点 上 函数 近似 值 满足 
的 关系 式 , 利 用 它 以 及 较 早 时 间 点 上 的 函数 近似 值 可 算出 y,+1。 若 式 (8.9) 中 & 二 0, 则 对 应 
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的 解法 称 为 单 步 法 (single-step method) ,其 计算 公式 为 
yuhH 一 CCyrH yn)。 (8. 10) 
否则 , 称 为 多 步 法 (multiple-step method) 。 另 一 方面 , 若 函 数 G 与 y,+4i 无 关 , 即 
Yrtl = Gyr Yrs Vk) 
则 称 为 显 格式 方法 (explicit method) ,否则 称 为 隐 格 式 方法 (implicit method) 。 显 然 , 显 格 
式 方法 的 计算 较 简单 ,只 将 已 得 到 的 函数 近似 值 代入 等 号 右边 , 即 可 算出 w+ 。 
欧 拉 法 是 一 种 显 格式 单 步 法 ,对 初 值 问题 ( 见 式 (8. 4)) ,其 计算 公式 为 
Yah 一 加 十 Pt)， (2 一 0,1,2,…)。 (8.11) 
它 可 根据 数值 微分 的 向 前 差分 公式 (第 7.7 节 ) 导 出 。 由 于 y 二 f(z,y), 则 


ytan) CO— y(t) 
h, ” 


得 到 近似 公式 >(CorD)sy(G5) 十 CoyyGa)) ,将 其 中 的 函数 值 换 为 数值 近似 值 , 则 得 到 欧 
拉 法 的 递 推 计算 式 (8. 11)。 还 可 以 从 数值 积分 的 角度 进行 推导 ,由 于 


yt) = (十 | yds = y(1,) + /Gy ds, 


用 左 和 矩形 公式 近似 计算 其 中 的 积分 (矩形 的 高 为 ;二 4 时 被 积 函 数值 ) ,有 
Yt) ST yt) 二 hf ts y(t)), 
将 其 中 的 函数 值 换 为 数值 近似 值 , 便 得 到 欧 拉 法 的 计算 公式 。 
例 8.4( 欧 拉 法 ): 用 欧 拉 法 求解 初 值 问题 
光一 上 一 y 十 1 
La | 
求 1 二 0.5 时 y(?) 的 值 ,计算 中 将 步 长 分 别 固定 为 0.1 和 0.05。 
【 解 】 在 本 题 中 , f(1,y)==1 一 y 十 1,to 二 0,yo 二 1, 则 欧 拉 法 计算 公式 为 
yn+Hl 一 十 六 (二 一 加 十 1)， (2 一 0,1,2,…) 。 
当 步 长 h=0.1 时 ,计算 公式 为 ys+1 二 0. 9y, 十 0. 1 十 0. 1; 当 步 长 ==0.05 时 ,计算 公式 为 
ynt1 王 0.95y; 十 0.054, 十 0.05。 两 种 情况 的 计算 结果 都 列 于 表 8-1 中 ,同时 也 给 出 了 准确 解 
y(i) 一 上 十 e 一 的 结果 。 


yt) = ft yt)) = 


表 8-1 欧 拉 法 计算 例 8. 4 的 结果 


k=0.1 h=0.05 

页 Yn y(t,) he Ys 加 Yn 

0.1 1.000 000 1.004 837 0.05 1.000 000 0.3 1.035 092 
0.2 1.010 000 1.018 731 0.10 1.002 500 0.35 1.048 337 
0.3 1.029 000 1.040 818 0.15 1.007 375 0.4 1.063 420 
0.4 1.056 100 1.070 320 0.20 1.014 506 0.45 1.080 249 
0.5 1.090 490 1.106 531 0.25 1.023 781 0.5 1.098 737 
从 计算 结果 可 以 看 出 , 步 长 取 0.05 时 ,计算 的 误差 较 小 。 加 
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在 常 微分 方程 初 值 问 题 的 数值 求解 过 程 中 , 步 长 h(n 二 0,1,2,…) 的 设置 对 计算 的 准 
确 性 和 计算 量 都 有 影响 。 一 般 地 , 步 长 越 小 ,计算 结果 越 准 确 , 但 计算 步 数 也 越 多 (对 于 固定 
的 计算 区 间 右 端点 ), 因 此 总 计算 量 就 越 大 。 在 实际 的 数值 求解 过 程 中 ,如 何 设置 合适 的 步 
长 达到 准确 度 与 效率 的 最 佳 平衡 是 很 重要 的 一 个 问题 。 


8.2.2 数值 解法 的 稳定 性 与 准确 度 


使 用 数值 方法 求解 初 值 问 题 时 ,还 应 考虑 数值 方法 的 稳定 性 。 实 际 的 计算 过 程 中 都 存 
在 误差 ,车 某 一 步 的 解 函 数 近似 值 w 存在 误差 ,在 后 续 递 推 计算 过 程 中 , 它 会 如 何 传播 呢 ? 
会 不 会 恶性 增长 ,以 至 于 “淹没 ?准确 解 ?通过 数值 方法 的 稳定 性 分 析 , 可 以 回答 这 些 问 题 。 
首先 给 出 稳定 性 的 定义 。 

定义 8.2: 采用 某 个 数值 方法 求解 常 微分 方程 初 值 问题 ( 见 式 (8.4)), 若 在 节点 t, 上 的 
函数 近似 值 存在 扰动 6, ,由 它 引 起 的 后 续 各 节点 上 的 误差 6,(m 二 nn) 均 不 超过 6,, 即 |6, | 三 
16, | (二 2 , 则 称 该 方法 是 稳定 的 。 

在 大 多 数 实际 问题 中 ,截断 误差 是 常 微分 方程 数值 求解 中 的 主要 计算 误差 ,因此 我 们 忽 
略 舍 人 误差 。 此 外 , 仅 考 虑 稳定 的 常 微分 方程 初 值 问题 。 

考虑 单 步 法 的 稳定 性 ,需要 分 析 扰 动 6, 对 y,+i 的 影响 ,推导 41 与 6, 的 关系 式 。 以 欧 
拉 法 为 例 , 先 考 虑 模型 问题 ( 见 式 (8.7)) ,并且 设 Re(4) 志 0, 此 时 欧 拉 法 的 计算 公式 为 ? 

yr = yr My = (1 十 风 )， 
由 w 上 的 扰动 6, 引起 y,+i 的 误差 为 
Gn = (1+ mM)6,, 


要 使 ,+ 的 大 小 不 超过 6, ,要 求 
| 1 十 从 | 科 1。 KB 
式 (8.12) 是 欧 拉 法 求解 模型 问题 ( 见 式 (8.7)) 
保证 稳定 性 的 充 要 条 件 。 假设 4 为 复数 , 则 ha 在 复 
平面 里 落 在 如 图 8-2 所 示 的 单位 圆 中 ,才能 保证 计 
算 的 稳定 性 。 这 个 以 在 复 平面 内 的 取 值 范围 称 为 
稳定 区 域 ,而 稳定 区 域 与 实数 轴 的 交 称 为 稳定 区 间 。 
欧 拉 法 的 稳定 区 域 就 是 如 图 8-2 所 示 的 阴影 区 域 。 
考虑 稳定 的 问题 , 且 4 为 非 零 实数 的 情况 ( 即 4 二 0), 则 由 式 (8. 12) 可 推出 
< (8. 13) 
这 说 明 使 用 欧 拉 法 计算 时 ,为 保证 稳定 性 , 步 长 h 不 能 取得 太 大 。 
对 于 一 般 的 常 微分 方程 (8.4) ,采用 欧 拉 法 求解 ， 
ynH = ya hf ts Yn), 


图 8-2 欧 拉 法 解 模型 问题 的 稳定 区 域 


则 


Beh = 6 + hf sy ts) — fisys)] = 6 [1+h 3) J O02), 


@ ”对 于 稳定 性 分 析 以 及 后 面 的 一 些 场合 ,由 于 只 考虑 一 步 的 计算 ,因此 将 步 长 h, 记 为 h。 
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忽略 扰动 量 2》 的 2 阶 小 量 , 则 欧 拉 法 稳定 的 条 件 是 


1+h SL (Gy,) 过 和 (8.14) 


式 (8.14) 中 必 5 Css) 的 取 值 范围 也 是 如 图 8-2 所 示 的 阴影 部 分 。 考虑 到 问题 满足 局 部 


稳定 性 要 求 , 一 般 有 Re 3 人 (4,3。) ]<0, 则 要 保证 欧 拉 法 稳定 , 步 长 /的 值 丰 能 大大。 


例 8.5 (不 稳定 的 算法 ) : 用 欧 拉 法 求解 初 值 问题 
y 一 一 100y 
二 1 
固定 步 长 4==0.025, 求 :==0.15 时 y(z) 的 值 。 
【 解 】 欧 拉 法 的 计算 公式 为 y+1 二 yy, 十 h( 一 100y,) 1. 5y, ,计算 结果 见 表 8-2, 其 
中 也 给 出 了 准确 解 y(7) 三 e- ”的 结果 。 


表 8-2 欧 拉 法 计算 例 8.5 的 结果 


看 0 0.025 0.05 0. 075 A 0.125 0.15 
Yn 1 = 和 0 2.25 一 3. 375 5. 0625 一 7.593 75 11. 3906 
y(t,) 人 0.082 085 | 0.006 738 | 0.000 553 |4.54X10-:|3.73X10| 3.06X10 


从 表 8-2 中 可 以 看 出 , 欧 拉 法 的 计算 结果 在 准确 值 的 上 下 波动 ,而 且 误差 越 来 越 大 ,是 


一 种 不 稳定 的 现象 。 事实 上 ,根据 欧 拉 法 求解 模型 问题 的 稳定 性 条 件 式 (8. 13) <- 之 一 


0. 02 才能 保证 计算 稳定 ,而 此 题 设置 的 /一 0.025 不 在 稳定 区 域内 。 国 
除了 保证 稳定 性 ,还 应 了 解数 值 方法 准确 度 与 步 长 的 关系 ,从 而 根据 需求 灵活 地 设 定 计 
算 步 长 ,达到 最 高 的 计算 效率 。 下 面 先 介绍 局 部 截断 误差 的 概念 。 
定义 8.3: 设 常 微分 方程 初 值 问题 ( 见 式 (8. 4)) 的 数值 解法 为 y+ 二 GCyti yn 
yy :假设 其 中 y,_; (0 二 ik) 均等 于 准确 的 解 函 数值 y(7,-;), 则 
la = y(t) 一 ynH 
为 该 方法 的 局 部 截断 误差 (local truncation error) 。 
局 部 截断 误差 突出 了 当前 这 一 步 计算 产生 的 误差 ,对 于 欧 拉 法 来 说 ， 
ln = yin) — yt) — hf ts y(t)) 。 (8.15) 
先 考虑 简单 的 模型 问题 ( 见 式 (8.7)) , 则 
ln = y(t) O— yt) — haAy(t,), 
利用 模型 问题 的 解析 解 y(t4i) 二 y(t)e* , 则 
(haA)? 


ln = y(t Le m1—M]= 一 2 (bo) 十 O03) = O(h?)。 (8.16) 


式 (8.16) 说 明 欧 拉 法 的 局 部 截断 误差 是 步 长 h 的 2 阶 小 量 。 车 对 于 一 般 的 常 微分 方程 ,由 
式 (8.15) 推 出 


2 
Lo = Vay = ) = iy 和 Ya 十 O(Oa) = DO)， (8.17) 
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也 可 得 出 相同 的 结论 。 
式 (8. 16) 中 的 语 yC4s) CN 和 式 (8. 17) 中 的 与-y'(1,) 称 为 玲 断 误差 主 项 。 根据 局 部 截 


断 误差 可 定义 一 个 方法 的 准确 度 阶 数 。 

定义 8. 4: 若 一 个 求解 常 微分 方程 初 值 问题 的 数值 方法 ,其 局 部 截断 误差 + 一 
OCn) , 则 称 该 方法 具有 p 阶 准确 度 。 

根据 定义 ,可 以 看 出 欧 拉 法 具有 1 阶 准确 度 。 应 当 说 明 ,求解 常 微 分 方程 时 实际 上 关心 
的 是 整体 误差 

en = yn — Y(t,), 

但 能 估计 和 控制 的 只 有 局 部 截断 误差 4, ,因此 须 了 解 两 者 的 关系 。 可 以 证 明 , 在 适当 条 件 
下 ,车 局 部 截断 误差 为 Op:), 则 整体 误差 6, 二 OCh?*), 其 中 为 平均 步 长 ,这 解释 了 准确 
度 阶 数 的 意义 。 基 于 这 个 结论 ,只 要 阶 数 p 三 1, 随 着 步 长 h 的 减 小 ,结果 误差 将 逐渐 收敛 到 
0, 这 称 为 常 微分 方程 数值 解法 的 收敛 性 。 我 们 讨论 的 所 有 数值 方法 都 有 至 少 1 阶 的 准确 
度 , 因 此 都 是 收敛 的 。 


8.2.3 向 后 欧 拉 法 与 梯形 法 
本 节 介 绍 另 两 种 重要 的 数值 解法 : 向 后 欧 拉 法 和 梯形 法 ,并 分 析 它 们 的 稳定 性 和 准确 


度 阶 数 。 
从 数值 积分 的 角度 推导 欧 拉 法 的 过 程 中 , 若 使 用 右 和 矩阵 公式 近似 计算 积分 , 则 
y(t) = y(t,) + Gy) A yt) hf tn yin)), (8.18) 
将 其 中 的 函数 值 替换 为 数值 近似 值 , 得 到 
nt = Yn haf (trn Yrt), (8.19) 


这 就 是 向 后 欧 拉 法 (backward Euler method) 的 计算 公式 。 
若 使 用 梯形 求 积 公式 近似 式 (8. 18) 中 的 积分 , 则 得 到 梯形 法 (trapezoid method): 


yoH 一 ya 十 于 如 [7(w ,yn ) 十 FCtyynH)]。 (8. 20) 


从 式 (8. 19) 和 式 (8. 20) 看 出 ,向 后 欧 拉 法 和 梯形 法 都 是 单 步 隐 格式 方法 。 一 般 地 ， 
了 函数 可 能 是 非 线 性 函数 ,因此 采用 隐 格 式 方法 时 每 步 计算 都 要 求解 一 个 非 线 性 方程 ,这 涉 
及 第 2 章 所 学 的 不 动 点 迭代 法 .牛顿 法 等 内 容 。 显 然 , 隐 格式 方法 每 步 的 计算 量 比 显 格式 方 
法 大 得 多 ,那么 它 有 什么 优势 呢 ? 先 看 一 个 例子 。 

例 8.6 (向 后 欧 拉 法 ): 用 向 后 欧 拉 法 求解 例 8. 5 中 的 例子 ,采用 相同 的 步 长 。 

【 解 】 向 后 欧 拉 法 的 计算 公式 为 JJn+1 一 yn (= 100y,+1)， 即 .yn+1 = ,计算 结果 
列 于 表 8-3 中 ,同时 给 出 解 的 准确 值 。 

表 8-3 用 向 后 欧 拉 法 计算 例 8. 5 中 方程 的 结果 


加 0 0. 025 0. 05 0. 075 0.1 0.125 0.15 
Yn 1 0.285 714 |0.081 6327| 0.023 323 | 0.006 663 | 0.001 904 0.000 544 
y(t,) 1 0. 082 085 | 0. 006 738 | 0. 000 553 |4.54X10 |3.73X10™| 3.06X10- 
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将 准确 的 解 函 数 曲 线 和 向 后 欧 拉 法 的 计算 结果 绘 于 图 8-3 中 ,从 中 看 出 , 随 着 ”的 增 
大 ,向 后 欧 拉 法 的 误差 越 来 越 小 ,而 且 也 没有 出 现在 准确 值 上 下 波动 的 现象 . 这 直观 地 说 
明 , 向 后 欧 拉 法 比例 8.5 中 使 用 的 欧 拉 法 好 得 多 。 国 

上 例 实际 上 反映 了 向 后 欧 拉 法 的 计算 稳定 性 ,下 面 仔细 分 析 。 先 考虑 模型 问题 ( 见 式 
(8.7)) ,并 且 设 Re(4) 三 0, 向 后 欧 拉 法 的 计算 公式 为 


1 


ytH 一 加 十 My 之 yn 一 Yn, 


1 一 从 
假设 y, 存在 扰动 5，, 则 由 它 引起 w+ 的 误差 为 
] 
bn TR 
因此 要 保证 稳定 性 , 则 要 求 
| 

| 
即 

| 1 一 从 |>1 。 (8.21) 


式 (8.21) 反 映 了 向 后 欧 拉 法 的 稳定 区 域 为 复 平面 上 某 个 单位 圆 外 的 区 域 , 即 如 图 8-4 
所 示 的 阴影 区 域 。 而 且 , 由 于 Re(4) 三 0, 对 任意 步 长 h, 式 (8. 21) 均 得 到 满足 。 向 后 欧 拉 法 
的 这 种 性 质 称 为 无 条 件 稳定 (unconditionally stable) 。 对 更 一 般 的 常 微分 方程 ,可 做 类 似 分 
析 , 只 要 常 微 分 方程 本 身 是 稳定 的 , 则 对 任意 的 计算 步 长 ,向 后 欧 拉 法 都 是 无 条 件 稳定 的 。 


0.8 
0.6 准确 解 
0.4 
D 
0.2 Re(h%) 
0 0.05 0.10 0.15 oS 
图 8-3 例 8.6 中 向 后 欧 拉 法 的 计算 结果 图 8-4 向 后 欧 拉 法 解 模型 问题 的 稳定 区 域 


关于 梯形 法 的 稳定 性 分 析 , 也 可 得 出 无 条 件 稳定 的 结论 ,具体 细节 留 给 读者 思考 。 由 此 
看 出 , 隐 格 式 方法 虽然 每 步 的 计算 量 大 ,但 由 于 其 稳定 性 很 好 ,可 以 取 较 大 的 步 长 ,因此 总 的 
计算 量 可 能 有 优势 。 后 面 还 将 介绍 其 他 的 隐 格 式 方法 ,它们 不 一 定 都 是 无 条 件 稳 定 的 ,但 稳 
定 区 域 总 比 相应 的 显 格式 公式 大 ,因此 对 步 长 的 限制 较 小 。 
下 面 分 析 向 后 欧 拉 法 的 准确 度 阶 数 。 直 接 考 虑 一 般 的 常 微 分 方程 y 三 f(z,y), 则 局 部 
截断 误差 
lati 一 (th ) 一 yan 
一 y(CtiH) OO— y(t) — hf tn Yn) 
=hf (tn y(t)) OR) — hf tn yn) 
=hf, (tn sO LyCtan) — yn + OC(h?) 
=hfy tn sn t+ OR’) 
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OR) = O(h?), (8. 22) 


> hn 


T= 1 eratey 
式 (8.22) 说 明 , 向 后 欧 拉 法 具有 1 阶 准确 度 。 

对 梯形 法 进行 类 似 的 推导 ,可 知 其 局 部 截断 误差 0 三 O(), 因 此 具有 2 阶 准确 度 。 
梯形 法 是 2 阶 隐 格式 方法 ,并 且 是 无 条 件 稳定 的 。 

最 后 ,说明 以 下 两 点 。 

(1) 若 一 个 方法 是 无 条 件 稳定 的 ,或 稳定 区 域 较 大 , 则 意味 着 步 长 六 很 大 时 它 仍 能 保证 
计算 的 稳定 性 。 

(2) 一 个 方法 准确 度 阶 数 越 高 .意味 着 其 计算 误差 随 步 长 减 小 而 减 小 的 速度 越 快 ,这 一 
点 与 等 距 节点 求 积 公式 的 准确 度 阶 数 ( 定 义 7.5) 有 相同 的 含义 。 因 此 ,在 同等 计算 量 和 稳定 
性 的 前 提 下 ,应 尽量 选择 高 阶 的 方法 。 


8.3 龙 格 - 库 塔 方法 


有 一 大 类 求解 常 微分 方程 初 值 问题 的 单 步 法 ,统称 为 龙 格 - 库 塔 (Runge-Kutta，R-K) 
方法 。 本 节 首 先 介绍 显 格式 龙 格 - 库 塔 方法 的 构造 思想 ,以 及 几 种 重要 的 计算 公式 ,然后 分 
析 龙 格 - 库 塔 方法 的 稳定 性 和 收敛 性 ,最 后 介绍 自动 变 步 长 的 龙 格 - 库 塔 方法 。 

8.3.1 基本 思想 


类 似 于 前 面 几 种 简单 的 数值 解法 , 龙 格 - 库 塔 法 也 可 通过 数值 积分 推导 。 对 于 常 微分 方 
程 初 值 问题 ( 见 式 (8.4)), 相 邻 两 个 自 变 量 点 上 的 未 知 函数 值 满足 公式 


上 十 有 
yn) = y+ fls,y(s))ds, 六 和 


采用 某 个 机 械 求 积 公式 ( 见 第 7. 1 节 ) 计 算 其 中 的 积 > 


分 , 则 函数 近似 值 y, 和 y,+ 满 足 


一 一 一 一 一 -一 一 一 一 X 
-一 一 一- 一 -一 -- 


yarn = ys heft tah, yt + Ah)), 
i=1 


(8.23) oo DR hm 
其 中 ,所 十 1 次 (一 1,2,…,r) 为 积分 节点 , 且 A; € 
[0,1]( 见 图 8-5)。 由 于 不 知道 y( 十 A4) 的 什 ， nn 
式 (8. 23) 无 法 直接 使 用 。 解决 这 个 问题 的 思路 是 : 希 四 
望 用 若干 个 y 函数 的 近似 值 (如 w 是 y (4,) 的 近似 值 ) 估 算 y(4, 十 44) ,进而 得 到 所 需 的 
函数 值 。 由 于 初 值 问题 数值 求解 过 程 的 特点 ,一 般 利 用 较 早 时 间 点 上 的 函数 近似 值 计算 后 
续 时 间 点 上 的 函数 近似 值 , 进而 得 到 式 (8. 23) 所 需 的 被 积 函 数值 。 另外 ,考虑 到 
六 是 已 知 条 件 , 第 一 个 积分 节点 就 取 已 , 即 为 一 0。 基 于 这 个 思路 ,可 构造 显 格式 龙 格 - 库 塔 
方法 ,近似 计算 式 (8. 23) 中 积分 所 需 的 积分 节点 和 被 积 函数 ,计算 公式 列 于 表 8-4 中 (对 照 
图 8-5)。 
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表 8-4 计算 式 (8.23) 中 积分 所 需 的 积分 节点 和 被 积 函 数 近 似 值 


积分 节点 y 函数 近似 值 了 函数 近似 值 
站 yn ft, » yn )=k 
二 十 Xzh yn + As hk fts As hs yn + Aa hk )=ke 
2 2 
二 十 Ash yr hh > pk f (m+ adshsys th pki )= hs 
j=1 i=! 


一 般 将 计算 积分 用 的 被 积 函 数值 依次 记 为 &, (i 二 1,2,…), 它 们 表示 了 各 个 节点 上 
y 函数 的 近似 值 。 此 外 ,积分 节点 按 从 小 到 大 顺序 排列 , 即 0 二 入 二 和 二 入 二 …。 计算 
ks 时 ,由 于 只 有 可 以 被 利用 ,因此 使 用 欧 拉 法 计算 y(w 十 42h) 的 近似 值 , 即 yw 十 42h) 污 
yn 十 hzhk1。 而 在 计算 y(t 十 sh) 的 近似 值 时 ,用 到 了 前 两 个 时 间 点 上 的 y 近似 值 的 线性 组 
合 。 对 后 续 积分 节点 ,采用 类 似 的 做 法 。 结 合式 (8.23) 和 表 8-4, 可 写 出 一 般 的 龙 格 - 库 塔 法 
公式 : 


Vntl 一 .yn 十 户 > ) ci， 
i=1 


ki = fts yn) 
k2 = f(t, Ash, yt Ashki) 


(8. 24) 


k; = f(a 上 十) 六 ,加 十 有 Jp 有 ), 1 一 3,4, 7 。 
式 (8. 24) 被 称 为 -级 龙 格 - 库 塔 公式 ,7 为 数值 积分 中 积分 点 的 个 数 ,也 就 是 计算 f 函数 的 
次 数 。 公 式 中 ,除了 参数 4.(i 二 2,3,… ,7) ,还 有 两 组 待定 参数 c(i 二 1,2,…,r) 和 ju (i 二 3， 
4,…,r,j 一 让。 这 些 待 定 参 数 的 总 数 为 


， 
ND= 六 8， (8. 25) 
i=3 


2 2 

为 了 叙述 方便 ,下 面 将 龙 格 - 库 塔 式 (8. 24) 简 称 为 R-K 公式 。 对 于 级 R-K 公式 中 的 

待定 参数 ,并 不 按照 具体 的 数值 积分 公式 进行 设置 ,往往 采用 待定 系数 法 加 以 确定 。 根据 所 
需要 达到 的 准确 度 阶 数 ,可 求 出 R-K 方法 中 这 些 待 定 参 数 的 值 。 


8.3.2 几 种 显 式 R-K 公式 


根据 不 同 的 级 数 ,本 节 给 出 几 种 常用 的 显 式 R-K 公式 及 其 参数 计算 方法 。 首 先 看 2 级 
R-K 方法 ,其 公式 为 
Yr = ya 二 hckit cks) 
ki = f(t syn) ， (8. 26) 
As = f(t, hsh,y, Ahki) 
需要 确定 3 个 待定 参数 c .cz ,Xs 的 值 ,以 使 它 达 到 尽 可 能 高 的 准确 度 阶 数 。 下 面 针 对 模型 
问题 ( 见 式 (8.7)) 推 导 其 局 部 截断 误差 , 先 写 出 y,+1 的 表达 式 ( 这 里 的 f(1,y) 二 Ay): 
Yr = yr 二 hakitcks) = yt chy chA (ys AhAy,) 。 
基于 y, 二 y(t,) 的 前 提 假 设 , 则 
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ynH 三 y(t)[1 十 (ci 二 cz) 及 十 coh2 (RM)?]。 (8..277 
再 看 y(t,41) ,在 := 一己 处 进行 泰勒 展开 ,得 


加 3 
on 直 罗 5 + 入 YC) + 如 y*(6) 


(az Cs 
2 Tl 


由 于 局 部 截断 误差 ,+ 二 y( 如 +1) 一 yn+l ,对 比 式 (8. 27) 和 式 (8. 28) 可 以 看 出 ,最 多 达到 
2 阶 准确 度 , 即 


一 >(o)[1 十 从 十 | (8. 28) 


Ln = :Oh Ds 
此 时 要 求 待定 参数 满足 方程 
cl 十 cz 王 1 
s (8. 29) 
Ly = 1/2 
方程 组 (8. 29) 没 有 唯一 的 解 ,将 任 一 个 解 代 入 式 (8. 26) ,都 得 到 一 个 2 阶 R-K 公式 。 例 如 ， 
ci 一 cz 一 1/2, 王 1, 则 得 到 公式 


yet 一 十 得 (十 忆 ) 


后 三 fb (8. 30) 
kz = ft hy t hk) 
该 公式 被 称 为 Heun 方法 ,也 称 为 改进 的 欧 拉 法 。 
式 (8.30) 可 以 改写 为 如 下 形式 : 
Fnt1 = yn hf ts, yn) (8. 31) 
Yntl 二 Yn TT SEs ys) + fn sy)] 。 (8.32) 


它 说 明 Heun 方法 可 看 成 是 欧 拉 法 与 梯形 方法 的 组 合 ,即将 欧 拉 法 的 结果 作为 初始 解 
代入 梯形 法 对 应 的 不 动 点 迭代 法 中 和 迭 代 一 次 ,得 到 w+ 的 近似 解 。 这 就 是 “改进 的 欧 拉 法 ” 
名 字 的 由 来 。 另外 ,也 可 将 式 (8. 31) 得 到 的 5,+1 看 成 是 预测 值 , 它 的 精度 较 差 , 式 (8. 32) 的 
作用 就 是 对 它 进行 一 次 校正 。 这 种 使 用 两 个 公式 构成 一 对 “预测 -校正 ”公式 也 是 常见 的 常 
微分 方程 初 值 问题 求解 方法 。 

另 一 种 具有 2 阶 准确 度 的 2 级 公式 是 

yl = Yn + hk2 
k= ftsyn) (8. 33) 


hh 一 f(s 二 各 ,ys 十 名] 


它 对 应 于 方程 (8. 29) 的 解 : a= 二 0,cs 二 1,hs 二 1/2。 式 (8. 33) 也 称 为 中 点 公式 ,相当 于 用 中 
矩形 公式 计算 式 (8. 23) 中 的 积分 。 

在 上 述 推 导 中 , 仅 考 虑 了 模型 问题 ,而 对 于 一 般 的 问题 ( 见 式 (8.4)), 使 用 多 元 函 
数 泰勒 展开 等 技巧 也 可 得 出 相同 的 结论 , 即 2 级 公式 最 多 达到 2 阶 准确 度 , 且 要 求 参数 
满足 方程 (8. 29)。 

对 于 3 级 .4 级 R-K 公式 ,省 略 推导 过 程 ,直接 给 出 达到 最 高 阶 准确 度 时 有 关 参 数 所 满 
足 的 方程 。 
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3 级 R-K 公式 为 
Yntl = Yn hlckit ckz 十 csARs) 
B= 庆 直 和 
kz = ft Ash, ys Ashki) 
ks = fts tAsh, yt pahki + pszhks) 
它 最 多 能 达到 3 阶 准确 度 ,相应 地 要 求 参数 满足 方程 


， (8. 34) 


cl 十 cz 十 cs 王 1 
Ma = ja 十 paz 
czhz 十 cshs 一 1/2 ， (8. 35) 


ca 邓 十 ca 一 1/3 
cshazpaz = 1/6 
显然 ,方程 (8.35) 的 解 不 唯一 。 下 面 给 出 两 种 常见 的 3 阶 R-K 公 : 一 种 是 


oh = 二 各 (hk 十 4 十 ks) 


hi = ftsy,) 


1 1 (8.36) 
如 一 f(a+ 委 ,yo 十 名 hh] 
ks = f(t, th,y, — hk 2hk;,) 
它 被 称 为 3 阶 Kutta 公式 ; 男 一 种 是 Ralston 公式 QQ ， 
ort 二 yr 十 名 (2h 十 3ke 十 4ks) 
ki 二 (tes) 
。 (8.37) 
Ee /人 十 二, + 二 6 
ks /a 站 ,十 名 河 
对 于 4 级 R-K 公式 ,可 以 证 明 它 最 多 达到 4 阶 准确 度 。 下 面 给 出 一 种 常用 的 4 级 .4 阶 


R-K 公式 


on 一 y 十 名 Ch 六 2 二 2 主语 


ki = f(t,, yn) 


h 1 
ks =/(s 十 号 ,六 十 和 4] 5 (8.3 的 


ks = /< 十 他, 十 全] 

ks = ft, th, yt hks) 
它 被 称 为 4 阶 经 典 R-K 公式 。 事实 上 , 若 f 函数 只 与 + 有 关 , 则 式 (8. 38) 就 是 辛普森 求 积 
公式 。 


例 8.7(R-K 公式 ): 求解 常 微分 方程 初 值 问题 


2 
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二 
9 


取 / 一 0.1, 计 算 y(2) 的 值 ,比较 2 阶 Heun 公式 、3 阶 Ralston 公式 、4 阶 经 典 Runge-Kutta 
公式 的 结果 。 


【 解 】 易 知 此 问题 的 精确 解 为 y(O) 一 二 4 十 也-。 将 2 阶 Heun 公式 、3 阶 Ralston 公 


式 、4 阶 经 典 Runge-Kutta 公式 的 计算 结果 列 于 表 8-5 中 ,并 与 准确 解 对 比 。 从 表 8-5 中 可 
以 看 出 ,方法 的 精度 阶 数 越 高 ,它们 计算 的 结果 也 越 接 近 准 确 解 (当然 ,计算 量 也 越 大 )。 
4 阶 经 典 Runge-Kutta 公式 的 结果 有 7 位 准确 的 有 效 数字 。 


表 8-5 2 阶 ,3 阶 ,4 阶 Runge-Kutta 公式 的 计算 结果 


页 2 阶 Heun 3 阶 Ralston 4 阶 Runge-Kutta 准确 值 
0.4 0. 4 0.4 0.4 

网 0.475 641 0. 474 626 0. 474 638 3 0.474638 2 
本 0. 583 408 0.581 364 0.581 386 8 0.581 3867 
本: 0.728 135 0.725 034 0.725 066 3 0.725 066 2 
.4 0.915 329 0, 911 137 0.911 177.3 0.911 177 1 
本 1.151 110 1.145 785 1.145 833 6 1.145 833 3 
.6 1. 442 169 1. 435 664 1.435 720 3 1.435 720 0 
sp 1.795 738 1.788 004 1.788 067 4 1.788 0671 
.8 2.219 578 2.210 561 2.210 6315 2. 210 631 1 
9 2.721 961 2.711 606 2.711 683 6 2.711 6832 
2.0 3.311 665 3.299 916 3. 300 000 4 3. 300 000 0 


当 7==2,3,4 时 ,经 过 合适 的 参数 设置 ,r 级 R-K 公式 能 取得 的 最 高 准确 度 阶 数 也 是 x。 
这 意味 着 ,公式 中 计算 函数 的 次 数 增加 1 ,准确 度 阶 数 也 增加 1。 那么 ,是 否 任 意 的 7 级 公式 
都 可 以 达到 阶 准确 度 呢 ? 答案 是 否定 的 。 表 8-6 列 出 了 各 级 R-K 公式 能 达到 的 最 高 准确 
度 阶 数 。 


表 8-6 各 级 R-K 公式 能 达到 的 最 高 准确 度 阶 数 
级 数 2 3 4 5 6 7 8 9 


最 高 准确 度 阶 数 2 3 4 4 5 6 6 vd 


从 表 8-6 看 出 ,r 二 4 对 应 的 + 级 R-K 公式 已 达 不 到 阶 准确 度 ,因此 为 了 提高 1 阶 准 
确 度 , 需 要 增加 较 多 的 函数 计算 次 数 。 所 以 ,基于 计算 效率 上 的 考虑 ,高 于 4 级 的 R-K 公式 
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很 少 被 单独 使 用 。 
8.3.3 显 式 R-K 公式 的 稳定 性 与 收敛 性 
下 面 分 析 2 阶 R-K 式 (8. 30) 的 稳定 性 ,考虑 模型 问题 可 推出 
ya 一 y%[1+ 及 二- 人 一 (有 六 ]， 


因此 稳定 区 域 由 


2 
人 多 |<1 (8. 39) 


决定 。 若 假设 4 为 复数 ,稳定 区 域 的 推导 比较 复杂 ,这 里 考虑 4 为 实数 的 简单 情况 ,可 推出 
(假设 4 二 0) 


2 
Pt 
4 A 


这 是 稳定 性 对 步 长 的 限制 ,恰好 与 欧 拉 法 一 样 。 另外 ,对 于 其 他 的 参数 满足 方程 (8. 29) 的 2 阶 
-K 公式 , 它 对 模型 问题 的 稳定 区 域 都 由 式 (8. 39) 确 定 ,详细 证 明 请 感 兴趣 的 读者 思考 。 
对 于 3 阶 .4 阶 R-K 公式 ,其 保持 稳定 所 需 满 足 的 不 等 式 分 别 为 (针对 模型 问题 ) 

Ca)? 


++ 如 > |<1， (8. 40) 
i 和 2 i AA 
ira 3 3 一 十 一 4 = (8.41) 
若 为 实数 , 则 得 到 稳定 性 对 步 长 的 限制 分 别 近似 为 
玫 一 一 
和 
一 2.78 
h< 


事实 上 , 显 式 R-K 公式 都 不 是 无 条 件 稳定 的 。 为 提高 稳定 区 域 的 范围 ,还 可 构造 出 隐 
式 R-K 方法 ,相关 的 讨论 超出 了 本 书 的 范围 。 
前 面 曾 指出 ,一般 只 需 准 确 度 阶 数 p 三 1 ,就 能 保证 常 微分 方程 数值 解法 的 收敛 性 , 即 误 
差 随 步 长 减 小 而 收敛 到 0。 下面 介 绍 一 种 相 容 性 条 件 , 可 方便 地 判断 一 般 的 龙 格 - 库 塔 
式 (8. 24) 是 否 具 有 收敛 性 。 
考虑 求解 初 值 问题 ( 见 式 (8. 4)) 的 一 般 的 显 式 单 步 法 ， 
ytH = Yn hp tn, yn sh), (8.42) 
其 局 部 截断 误差 为 
la 一 y(taH ) 一 ynhH 
一 y(CbH) — [y(t) +t hp, yt),h)] 
=hy’(t,) + Oh) —h[Lgyg(t, ,y(t,) 0) + OR)] 
一 jy (t,) — hog(t,s yt) ,0) 十 DC ) 
L411 二 O(h?™1),p 宇 1 的 充 要 条 件 是 上 式 中 久 的 一 次 项 系数 为 0, 即 
yt) = fs y(t)) = gts yt) 0) 。 
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由 于 的 一 般 性 ,上 式 说 明了 如 下 的 函数 等 式 
9p(tyy,0) = f(t,y), (8.43) 
它 被 称 为 显 式 单 步 法 的 相 容 性 条 件 。 
实际 上 , 相 容 性 条 件 ( 见 式 (8. 43)) 也 很 直观 , 它 表 明 h 一 0 时 , 单 步 法 中 的 增 量 函数 
glt,y' 洲 ) 的 极限 是 y (7)。 这 正好 与 “差分 的 极限 为 导数 ”的 观念 吻合 。 对 于 一 些 表 达 式 复 
杂 的 单 步 法 ,判断 相 容 性 比分 析 局 部 截断 误差 简单 ,可 利用 它 分 析 是 否 满足 收敛 性 这 个 基本 
条 件 。 例如 ,对 于 式 (8. 24) 表 示 的 R-K 公式 ,根据 相 容 性 条 件 可 推出 


二 (8. 44) 


i=1 


这 正 是 所 有 可 用 的 R-K 公式 都 应 满足 的 条 件 。 
8.3.4 自动 变 步 长 的 R-K 方法 


R-K 方法 的 一 个 重要 优点 是 计算 y,+1 时 不 需要 4 时刻 以 前 的 函数 值 ,这 使 得 计算 是 
“ 自 启 动 ”的 ,在 计算 过 程 中 很 容易 改变 步 长 。 因 此,R-K 方法 易于 编程 实现 ,也 得 到 了 普遍 
使 用 。 另 一 方面 ,虽然 对 R-K 方法 可 进行 稳定 性 分 析 和 局 部 截断 误差 分 析 , 但 在 实际 应 用 
中 很 难 提供 与 步 长 有 关 的 误差 估计 ,如 何 自动 改变 计算 步 长 达到 最 佳 计 算 效 率 成 为 迫切 需 
要 解决 的 问题 。 
本 节 介 绍 一 种 自动 变 步 长 的 R-K 方法 ,也 称 为 嵌入 式 (embeded)R-K 方法 , 它 使 用 一 对 
不 同 阶 R-K 公式 计算 结果 的 差 作为 误差 估计 ,自动 控制 步 长 的 大 小 ,从 而 使 整体 计算 达到 
较 高 的 效率 。MATLAB 中 求解 常 微分 方程 初 值 问题 的 命令 ode23、ode45 都 采用 了 自动 变 
步 长 的 R-K 方法 ,其 中 ode23 的 算法 由 Bogachi 和 Shampine 于 1989 年 发 表 , 简 称 为 BS23 
算法 。 下 面 对 它 做 一 些 介绍 。 
自动 变 步 长 R-K 方法 的 基本 思想 是 : 车 两 个 公式 分 别 具 有 p 和 pp 十 1 阶 准确 度 , 则 它 
们 的 差 可 作为 误差 估计 。 假设 p 和 pp 十 1 阶 准确 度 的 两 个 公式 的 值 分 别 为 mm 和 yy, ,根据 准 
确 度 的 含义 , 若 假 设 第 n 步 的 值 是 准确 的 , 则 
Ti — Yb) 三 OO) = cpnhrt! 十 OCRet2)， (8.45) 
ynH — Yt) 一 OO)， (8. 46) 
其 中 ,csi 为 与 步 长 ==i+1 一 4 无 关 的 系数 。 对 于 户 阶 准确 度 的 值 r,+i , 若 忽略 高 阶 小 量 ， 
则 其 局 部 截断 误差 为 


VR (8.47) 
而 将 式 (8.45) 减 去 式 (8. 46) ,忽略 高 阶 小 量 , 得 
Fah 一 ynh A Cphihtt! 。 (8.48) 


对 比 式 (8.47) 和 式 (8. 48) 可 以 看 出 ,两 个 公式 之 差 可 作为 局 部 截断 误差 的 估计 。 实 际 
使 用 时 ,由 于 w+ 准确 度 更 高 ,一 般 将 它 作为 e+ 时 刻 的 近似 解 , 这 种 做 法 也 称 为 局 部 外 推 
(local extrapolation ) 。 

另外 ,由 于 w+ 的 整体 误差 一 般 为 O(h2**1), 对 于 用 不 同步 长 h 和 hh' 算 出 的 两 个 值 
y9 和 xy 和 ,它们 的 误差 满足 关系 式 


光 
~( 霹 ) (8.49) 
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因此 , 当 e 多 ;超过 阀 值 时 ,可 利用 式 (8. 49) 估 算出 ,使 改变 步 长 后 的 计算 结果 满足 精度 
要 求 。 

在 BS23 算法 中 ,使 用 了 具有 2 阶 、3 阶 准确 度 的 一 对 公式 。 其 中 ,3 阶 公式 是 Ralston 
公式 (8.37) ,而 2 阶 公式 为 


Jon 二 十 (Th 十 6hs 十 8hs 十 3k4) 
ki = f(t,, yn) 
hh & 
= 着 y+ gh ] . es 


ja /人 (+ 玫 ,y 十 中 避 】 


及 一 /A a 2h i th) ] 


注意 , 式 (8. 50) 比 较 特殊 , 它 是 4 级 公式 ,但 只 有 2 阶 准确 度 。 而且 式 (8. 50) 中 的 前 3 个 导 
数 近似 值 与 式 (8. 37) 中 的 一 样 ,只 是 增加 了 一 个 有 。 由 于 计算 k 时 的 时 间 自 变量 为 4+1, 因 
此 除 第 一 步 外 ,ki 总 与 上 一 步 的 & 相同 。 基 于 BS23 算法 ,下 面 给 出 自动 变 步 长 龙 格 - 库 塔 
方法 的 算法 描述 。 


从 算法 8. 1 看 出 ,针对 每 个 步 长 ,只 计算 3 次 f 函数 的 值 ,可 得 到 2 阶 和 3 阶 R-K 公 
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式 的 结果 。 为 了 避免 抵消 现象 ,实际 上 并 不 用 算出 2 阶 公 式 的 结果 后 再 与 3 阶 公 式 结果 相 
减 ,而 是 直接 计算 它们 的 差 


Fntl 一 Yntl 二 孝 (5ki 十 6hs 十 8ks 一 9k4) (8.51) 


作为 误差 的 估计 。 另外 ,由 于 具有 3 阶 准确 度 , 通 过 计算 a -95h 调整 步 长 可 以 使 新 步 长 


满足 精度 要 求 。 一 般 情况 下 ,在 每 个 时 间 点 上 最 多 “1， 
只 需 调整 一 次 步 长 。 | 

实际 的 程序 要 比 算法 8. 1 复杂 一 些 。 例 如 ， 
初始 步 长 的 选取 、 估 计 相对 误差 以 及 步 长 变化 都 
需要 一 些 经 验 上 的 考虑 。 文 献 [7] 给 出 了 一 个 
BS23 算法 的 简化 实现 : ode23tx 程序 , 它 进行 了 
相对 误差 估计 ,默认 的 相对 误差 阔 值 为 10-。 采 
用 该 程序 求解 例 8.5、 例 8. 6 中 的 常 微分 方程 初 值 
问题 ,得 到 的 结果 曲线 示 于 图 8-6 中 ,从 中 可 以 看 
出 自动 变 步 长 的 效果 。 关于 ode23tx 的 更 多 细节 ， 图 8-6 自动 变 步 长 RK 算法 求解 例 8. 5 、 
感 兴趣 的 读者 可 参考 文献 [7] 以 及 相关 的 文献 。 8 的 交 直 


8.4 多 步 法 


前 面 介绍 的 方法 都 是 单 步 法 ,只 利用 了 前 一 个 时 间 点 的 信息 y, 计算 ys+i。 多 步 法 
(multiple-step method) 则 不 同 , 它 利用 前 面 若干 点 的 信息 得 到 下 一 点 的 函数 近似 值 ,也 称 
为 记忆 法 (method with memory) 。 求解 常 微分 方程 初 值 问 题 ( 见 式 (8. 4)) 的 多 步 法 一 般 是 
线性 多 步 法 ,具有 如 下 形式 : 


Yntl 一 Ped a (8.52) 

其 中 ,hh 为 步 长 ,a; (i 二 1,2,3,…,m) ,Bi(i 二 0,1,2,…,m) 为 待定 参数 。 由 于 公式 中 包含 前 m 
点 的 函数 近似 值 , 式 (8. 52) 称 为 线性 m 步 法 。 若 B, 隆 0, 则 为 隐 格 式 方法 ,否则 为 显 格式 方 
法 。 注意 ,这 里 假设 步 长 是 不 变 的 ,从 而 简化 公式 的 推导 。 
8.4.1 多 步 法 公式 的 推导 

类 似 于 龙 格 - 库 塔 方法 ,通过 使 式 (8. 52) 具 有 尽 可 能 高 阶 的 准确 度 , 可 求 出 多 步 法 计算 
公式 中 的 参数 a; 和 p;。 本 节 介 绍 两 种 推导 多 步 法 公式 \ 确 定 其 中 待定 参数 的 方法 : 一 种 采 
用 泰勒 展开 ; 另 一 种 假设 未 知 函 数 为 单项 式 函数 .它们 都 得 到 参数 满足 的 线性 方程 组 。 

1. 泰勒 展开 法 

根据 局 部 截断 误差 的 定义 (定义 8. 3) ,对 于 多 步 法 公式 (8. 52) ,其 局 部 截断 误差 为 


bah 一 (tnH ) 一 yuH 


=y(t) 一 Daiy rp) — hOB Crmisy tei)) 
i=1 i=0 


BE i 
“20 0.02 0.04 0.06 0.08 010 0.12 0.14 0.16 


一 7(tana) 一 Daiy (tatri) — hI By (tas) 。 (8. 53) 
i=1 i=0 
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对 于 y(t-i;) 和 yy (tpi) (i=0,1," ,1m) ,在 1 二 ti 处 进行 泰勒 展开 ， 
yCphri) = y(n Ch) 


A 3 
三 -二 Yin) -一 CB 
0 es 
ee + yo on 二 -Ci ) 要 


将 它们 代入 式 (8. 53) ,整理 后 得 到 
lrt1 =y(i) [1 = 由 = Salt 


可 二 
EA Da DE 2 i8:]+ os (8.54) 
i=1 “ i=1 
一 般 地 ,hy 中 (t+1) 的 系数 为 


0 = 12in— 2)8., Fe (8. 55) 


则 

2 = coyCtnni) chy (inn) chy (tnn) ++, (8.56) 
只 需 令 c= 二 0,k 二 0,1,2 ,Pp,: 则 ni 二 O(h?11), 多 步 法 ( 见 式 (8. 52)) 达 到 pp 阶 准确 度 。 所 
以 ,确定 多 步 法 中 参数 a; 和 8B; 的 线性 方程 依次 为 

十 Qs 十 十 am 一 1 

ao 十 2as 十 … 十 mavn 二 民 十 Bi 十 … 十 BB 


ya 二 


(8.57) 


其 中 ,前 两 个 方程 代表 了 线性 多 步 法 的 相 容 性 条 件 ( 准 确 度 阶 数 p 三 1) ,只 有 满足 它们 ,才能 
有 数值 求解 的 收敛 性 。 

例 8. 8( 通 过 泰勒 展开 推导 多 步 法 ): 假设 有 形 如 0 

Yntl = ayn Th(B ftB fi) 

的 两 步 法 公式 , 试 确定 其 中 的 参数 ,使 其 具有 较 高 的 准确 度 。 

【 解 】 在 本 题 的 公式 中 ,多 步 法 系数 B 二 0, 要 确定 3 个 参数 a1、B、Bs。 列 出 方程 
组 (8.57) 中 的 前 3 个 方程 

a=1 


Wy = B 十 记 
二 a = B 十 2B 


@ 为 了 表达 简便 ,用 f+1-; 表 示 了 Cri-isynt1-i) ,i 二 0,1,2,…。 
» 0 
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解 得 , a1 一 1,h 一 也 及 一 一 亏 。 得 到 公式 


i (3 = 二 /| (8. 58) 


具有 2 阶 准确 度 。 国 

从 例 8. 8 看 出 ,车 多 步 法 公式 中 包含 p 个 待定 参数 ,至 少 可 达到 p 一 1 阶 准确 度 , 只 需 
求解 线性 方程 组 (8. 57) 中 的 前 p 个 方程 。 

2. 单项 式 函 数 代 入 法 

根据 上 述 泰 勒 展开 法 的 推导 过 程 , 也 可 以 另 一 种 更 直观 的 方式 得 到 确定 系数 的 方程 。 
假设 要 使 i+ 二 O27!), 即 式 (8.52) 达 到 pp 阶 准确 度 , 这 要 求 式 (8.54) 中 前 p 十 1 项 都 等 于 
0, 则 

ln = cpnh tt yetD (Cn) + 

其 中 包含 了 > 函数 的 p 十 1 阶 及 更 高 阶 导 数 。 如 果 假 设 y(1) ==t,(i 二 0,1,2,…,p), 将 它们 
代入 上 式 , 易 知 均 使 得 /1,41 二 0。 这 恰好 也 构成 了 p 十 1 个 方程 ,可 通过 它 求解 待定 参数 w 和 
Bi。 可 以 总 结 出 如 下 定理 。 

定理 8.2: 对 于 求解 常 微分 方程 初 值 问 题 的 多 步 法 ( 见 式 (8. 52)) , 若 当 y(1)=t', (i 二 
0,1,2,…,p) 时 , 均 有 局 部 截断 误差 /411 二 0, 则 多 步 法 ( 见 式 (8. 52)) 至 少 具有 p 阶 准确 度 。 
若 同时 在 y(4) 二 wT 时 4+1 取 0, 则 多 步 法 ( 见 式 (8. 52)) 恰 好 有 阶 准确 度 。 

这 种 方法 的 具体 做 法 就 是 ,将 y(1)==ti,(i==0,1,2,…,p) 依 次 代入 方程 

ln = y(t) — yn = 0, 

得 到 关于 参数 a; 和 8B; 的 方程 ,求解 后 即 得 到 满足 准确 度 要 求 的 多 步 法 公式 。 

例 8.9 (利用 单项 式 函数 推导 多 步 法 ) : 对 例 8. 8 中 的 两 步 法 ,利用 单项 式 函数 代入 法 
求 待 定 参数 的 值 。 

【 解 】 计算 局 部 截断 误差 时 ,假设 前 几 步 的 近似 解 均 准确 , 则 

ln 一 y(CtrH ) 一 ynhH 
=y(tnn) — {ay(ts) ch[By Ct,) thy Ci)]} 

将 y(2)==1,y(7)==t,y(t) 二 #2 依次 代入 上 式 , 并 令 1,+1 二 0, 得 到 如 下 的 方程 组 : 


l—a=0 
人 aa 一 0 
tin —ati—h(2Bt,t2Bt) 一 0 
考虑 到 zh 的 取 值 可 以 任意 ,得 到 如 下 的 线性 方程 组 
l—a=0 
-ar 一 0， 
1+2B8 =0 
其 解 为 a 一 1, 一 子 , 民 = 一方 ,与 例 8.8 的 结果 相同 。 


从 例 8.9 可 以 看 出 ,采用 单项 式 函 数 代 入 局 部 截断 误差 公式 的 方法 也 能 获得 满意 的 效 
果 , 而 且 不 需要 记忆 式 (8. 57) 或 者 利用 泰勒 展开 进行 烦琐 的 推导 ,因此 常 被 使 用 。 
由 于 线性 多 步 法 涉及 线性 差分 理论 ,其 收敛 性 的 概念 与 判定 有 一 些 特别 ,下 面 简略 
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介绍 。 
定义 8.5: 设 初 值 问题 ( 见 式 (8. 4)) 有 精确 解 y(t)。 使 用 线性 多 步 法 ( 见 式 (8. 52)) 求 
解 此 初 值 问题 ,多 步 法 的 启动 计算 条 件 为 : y; 二 (1) ,i 二 0,1,2,…,m 一 1, 其 路 为 步 长 。 
车 有 
limy (h) =y,， i=0,1,2,…,m—1, 
且 , lim_y, 二 y(to 二 nh), 则 称 线性 m 步 法 ( 见 式 (8. 52)) 是 收敛 的 。 
线性 多 步 法 的 相 容 性 条 件 并 不 能 保证 其 收敛 性 。 例 如 ,用 线性 二 步 法 
ytH = 3 一 2yr-l hf — 2f.1) 
| =0, y=0 
解 初 值 问题 y (7) = 二 21,y(0) 二 0 满足 相 容 性 条 件 , 但 并 不 收敛 。 详 细 讨 论 留 给 读者 推导 、 思 
考 。 下 面 的 定理 给 出 了 线性 多 步 法 收敛 的 充 要 条 件 。 
定理 8.3: 线性 多 步 法 ( 见 式 (8. 52)) 是 相 容 的 , 则 按 计算 公式 


人 WF Sadi 二 到 Dy ynH-i) 
i=1 i=0 


yi=%h), i=0,1,,m—1 
解 初 值 问题 ( 见 式 (8.4)) 的 线性 多 步 法 收敛 的 充分 必要 条 件 是 特征 方程 


的 根 都 在 复 平面 的 单位 加 内 或 单位 加 上 , 且 在 单位 园 上 的 根 为 单 根 。 
定理 8. 3 的 证 明 可 见 参 考 文献 [39]。 


8.4.2 Adams 公式 
有 一 类 多 步 法 称 为 Adams( 亚 当 斯 ) 公 式 , 它 具有 如 下 的 形式 : 
Yntl = Yn ER SN (8.59) 


对 比 多 步 法 的 一 般 形式 ( 见 式 (8. 52)),Adams 公式 中 只 包含 前 一 个 时 间 点 上 的 函数 近似 
值 。 由 方程 组 (8. 57) 中 的 第 一 个 方程 看 出 , 形 如 式 (8. 59) 的 Adams 公式 已 满足 该 方程 , 因 
此 至 少 具有 0 阶 准确 度 。 根据 B 是 否 为 0, 又 分 为 Adams 显 格式 公式 和 Adams 隐 格 式 公 式 
两 种 ,一般 通过 选取 适当 的 B. 参数 使 式 (8. 59) 具 有 最 高 阶 的 准确 度 。 

首先 考虑 Adams 显 格式 公式 , 即 B==0 的 情况 。 根据 方程 组 (8. 57) 可 进一步 看 出 ,参数 
B(G=1,2,…, 2) 满足 的 线性 方程 组 的 系数 矩阵 为 


1 1 
| 2 3 
1? 22 32 


它 是 某 个 范 德 蒙 德 矩阵 ( 见 6. 4. 2 节 ) 的 转 置 ,必定 非 奇 异 。 因 此 ,可 唯一 地 解 出 B (一 1， 
2,…,m) 的 值 ,使 得 m 步 Adams 显 格式 公式 满足 方程 组 (8. 57) 中 的 前 mm 十 1 个 方程 ,达到 
m 阶 准确 度 。 对 于 Adams 隐 格 式 公式 ,待定 的 参数 为 8.(i 二 0,1,…,m) ,可 类 似 地 证 明 它 满 
足 的 线性 方程 组 的 系数 矩阵 也 是 非 奇 异 的 ,因此 有 唯一 的 一 组 B.(i 二 0,1,…,m) 的 取 值 使 
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得 方程 组 (8. 57) 中 的 前 mr 十 2 个 方程 成 立 。 换 句 话 说 ,mm 步 Adams 隐 格 式 公 式 最 多 可 达到 
7 十 1 阶 准确 度 . 总 结 上 述 讨论 ,得 到 如 下 定理 。 

定理 8.4: 形 如 式 (8.59) 的 m 步 Adams 公式 ,若是 隐 格 式 公 式 , 则 可 达到 mm 十 1 阶 准确 
度 ; 若 是 显 格式 公式 , 则 可 达到 m 阶 准 确 度 。 

在 无 特殊 说 明 的 情况 下 ,Adams 公式 即 形 如 式 (8. 59) 的 具有 最 高 阶 准确 度 的 显 格式 公 
式 和 隐 格 式 公 式 。 

若 通过 求解 线性 方程 组 推导 Adams 公式 中 的 系数 B.(i 二 0,1,…,m) ,计算 比较 复杂 , 因 
此 一 般 并 不 使 用 。 实际 上 ,根据 Adams 公式 的 特点 可 通过 对 前 面 若 干 个 点 上 的 导 函 数 
y 三 f 做 插值 ,然后 对 插值 多 项 式 积分 进行 推导 。 假设 用 插值 多 项 式 P(s) 近 似 公式 


+h 
y(t) = yt,) 和 f(s,y(s))ds 


中 的 被 积 函数 f(s,y(s)) ,插值 节点 为 连续 的 时 间 点 ti,4，…… ,hti-m， 而 被 插值 函数 值 为 
对 应 的 了 函数 近似 值 有 (ri yr) 了 sy) fbori-m syn+1-m)， 则 得 到 计算 公式 为 


th 
ytHl = yn +| Pl(s)ds, (8.60) 


准确 计算 多 项 式 积 分 后 , 则 得 到 形 如 式 (8. 59) 的 公式 。 若 插值 节点 包括 ;二 ti , 则 为 隐 式 公 
式 , 和 否则 为 显 式 公式 。 

应 当 指 出 ,上 述 利用 拉 格 朗 日 插值 的 推导 方法 不 需要 求解 线性 方程 组 ,非常 方便 。 此 
外 ,如 果 被 插值 函数 为 多 项 式 函 数 , 则 插值 得 到 插值 函数 是 准确 的 ,再 结合 定理 8. 2 的 结论 ， 
也 可 分 析出 Adams 公式 的 准确 度 阶 数 。 具体 地 说 ,推导 Adams 隐 格 式 公 式 时 使 用 闷 十 1 个 
插值 点 ,因此 ,对 于 不 超过 m 次 多 项 式 的 被 插值 函数 都 是 准确 的 。 这 意味 着 在 分 析 局 部 截断 
误差 时 , 若 f(t,y)==y = 二 1,4,…,1*, 则 均 有 144i 二 0。 也 就 是 说 ,对 于 y(1)=1i(i==0,1,…， 
mm 十 1) ,局 部 截断 误差 均 为 0, 所 以 根据 定理 8. 2 知 隐 格 式 公 式 至 少 有 mm 十 1 阶 准确 度 。 而 对 
于 显 格式 公式 ,使 用 了 m 个 插值 节点 ,因此 得 到 的 公式 至 少 有 m 阶 准确 度 。 这样 的 分 析 得 
到 与 定理 8. 3 一 致 的 结论 。 

下 面 通过 一 个 例子 说 明 利用 插值 多 项 式 的 积分 推导 Adams 公式 的 过 程 。 

例 8. 10(Adams 公式 的 推导 ) ; 推导 m= 二 4 对 应 的 显 式 Adams 公式 。 

【 解 】 由 于 是 显 式 公式 , 取 插 值 节点 为 ,ti1,t,_-s :ts_3， 利 用 拉 格 朗 日 公式 得 到 插值 
多 项 式 


i (5 一 如)( 一 如 2)( 一 ts3) 
| 


天 dk 
TY (tit) ts) (te — ta) 


f Ks = 
I pat) ts te) ts — ts) 


衣 ed ek dy 
3 (fst) (ts — ti) (ts — ts) 


(5 C= 
6h 

(5 二 六 二 
一 2173 


= 


fr 
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(8 C=)(s C=)(s = ta) 
2h3 


fn 大 


(= 
证 5 i 类 2 


代入 式 (8. 60), 对 多 项 式 函 数 积分 即 得 到 B.(i 二 1,2,…,4)。 先 看 f, 的 系数 


th 一 e 一 ce 一 
Bh | (Ss— Ea)(s 局 ts) 1 


Ss 


1 (CFA) C+ 2h)d 
一 人 十 二 1 
| 3 72 *] 和 
= (和 村 同 %¥ . 
Ey 
= 
55 
7 
经 过 类 似 的 计算 ,得 到 其 他 几 个 系数 为 
59 En 9 
Beh 24 ht Bsh 24h? Bh 24 th 
因此 ,m= 二 4 对 应 的 显 式 4 阶 .4 步 Adams 公式 为 
oh = yy, 十 页 (55 凡 7 玫 国 (8.61) 


式 (8.61) 具 有 4 阶 准确 度 ,被 称 为 显 式 4 阶 Adams-Bashforth 公式 。 类 似 地 ,可 推导 出 
具有 4 阶 准确 度 的 Adams 隐 和 格式 公式 , 称 为 隐 式 4 阶 Adams-Moulton 公式 


yn = yn + 六 (9fon 十 19 记 一 5/ 十 2) 。 (8. 62) 


注意 , 隐 式 4 阶 公 式 是 三 步 法 公式 。 另 外 ,前 面 学 过 的 欧 拉 法 .向 后 欧 拉 法 以 及 梯形 法 公式 都 
可 看 成 是 Adams 公式 的 特例 ,分 别 对 应 于 mm=1 的 显 式 公式 和 mm 一 0 一 1 的 隐 式 公式 。 

可 根据 模型 问题 分 析 多 步 法 的 稳定 性 。 例 如 ,对 于 显 式 2 阶 Admas 公式 (8. 58) ,对 模 
型 问题 y ==Xy 的 计算 公式 为 


3 1 3 风 i 
yt +h (3 ja ] (1 5 j» 到 Me， 


经 过 推导 得 
3 
1+ 3 二 /i++ aM) 
2 4 
Vrtl 2 Vn» 
或 
9 


3 从 
1 4 
* 2 1 十 从 十 4 
Yntl 2 Vn? 


因此 ,要 使 算法 稳定 ,必须 要 求 (假设 4 为 实数 , 且 4=0) 


2 
I+ 十 /1+ 肥 人 


2 


二 1， 
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且 
2 
11 一 i 千 欢 主 一 一 
- | 
经 过 推导 得 到 
一 1 一 从 一 0 。 (8. 63) 


不 等 式 (8. 63) 刻 画 了 显 式 2 阶 Admas 公式 (8. 58) 的 稳定 区 间 。 为 了 说 明 稳 定 区 间 的 大 小 ， 
也 常 称 区 间 的 左 端 点 值 为 稳定 阅 值 。 例 如 ,对 于 公式 (8. 58) ,其 稳定 阔 值 为 一 1。 

一 般 地 ,多 步 法 的 稳定 区 间 ( 稳 定 区 域 ) 的 推导 比较 复杂 ,不 要 求 掌握 其 中 的 细节 。 特别 
地 , 某 些 多 步 法 的 稳定 区 间 可 能 是 空 集 , 即 对 任意 步 长 4 二 0, 它 都 不 稳定 ,因此 不 能 用 于 实 
际 计算 中 (如 后 面 给 出 的 Milne 公式 )。 表 8-7 和 表 8-8 中 列 出 了 几 种 Adams 公式 的 参数 值 、 
稳定 阔 值 以 及 误差 常数 。 其 中 ,误差 常数 指 局 部 截断 误差 主 项 ( 见 8. 2. 2 节 ) 前 面 的 系数 。 


表 8-7 几 种 显 式 Adams 公式 的 参数 值 稳定 阅 值 及 误差 常数 


阶 数 及 B 及 稳定 阔 什 误差 常数 
1 1 = 1/2 
2 3/2 一 1/2 三 于 5/12 
23/12 一 16/12 5/12 一 6/11 3/8 
4 55/24 一 59/24 37/24 一 9/24 -8/10 251/720 


阶 数 B B BR B 稳定 阅 值 误差 常数 
1 1 —% —1/2 
2 1/2 1/2 一 co 一 1/12 
3 5/12 8/12 —1/12 一 6 一 1/24 
4 9/24 19/24 一 5/24 1/24 = 一 19/720 


从 表 8-7 和 表 8-8 看 出 , 随 着 准确 度 阶 数 的 增 大 ,稳定 阔 值 也 变 大 ,意味 着 稳定 区 间 越 
来 越 小 。 对 比 同 阶 的 显 式 公 式 和 隐 式 公式 , 隐 式 公式 的 稳定 性 和 准确 度 ( 看 误差 常数 ) 都 好 
寺 显 式 公式 ， 

使 用 隐 式 公式 时 ,求解 关于 w+ 的 方程 (一 般 是 非 线性 方程 ) 需 要 估计 初始 解 , 它 一 般 
由 显 式 公式 提供 ,所 以 显 式 公式 和 隐 式 公式 一 般 作为 预测 -校正 对 使 用 。 可 以 反复 使 用 校正 
公式 ,直到 迭代 解 满足 给 定 的 误差 限 ( 相 当 于 不 动 点 迭代 法 ), 但 这 样 做 可 能 并 不 划算 。 所 
以 ,一 般 将 校正 的 次 数 固定 ,如 只 校正 一 次 ,这 样 得 到 的 方法 就 是 预测 -校正 公式 (也 称 为 
PECE 格式 ) 。 

一 种 常用 的 预测 -校正 格式 为 Adams 预测 -校正 公式 , 它 使 用 显 式 4 阶 Adams- 
Bashforth 公式 (8. 61) 进 行 预测 ,使 用 隐 式 4 阶 Adams-Moulton 公式 (8. 62) 进 行 校正 。 


四 ”PECE 是 英文 predict、evaluate、correct、evaluate 的 首 字母 缩写 ,其 中 evaluate 是 指 计算 f 函数 的 值 。 
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8.4.3 更 多 讨论 


除了 Adams 公式 , 另 一 类 常用 的 多 步 法 为 BDF(backward differentiation formula) 格 
式 。 它 是 一 类 隐 式 多 步 法 ,具有 如 下 形式 : 


yh = Daiynps thBof ns yt) (8. 64) 
i=1 
其 特点 是 公式 中 只 针对 41 时 刻 计算 f 函数 。 例如 ,3 阶 BDF 公式 为 
证 ClB = Yi | Beay 4 江 大 二 (8.65) 


BDF 方法 的 推导 也 基于 拉 格 朗 日 插值 ,其 基本 思想 是 : 根据 y,+i,y, ,ys-1，… 构 造 近似 
y(D 函 数 的 多 项 式 P() ,再 利用 
A A 
推导 出 式 (8. 64) 中 的 参数 ai(i 二 1,2,…,m) 和 忆 。 这 里 省 略 具 体 的 过 程 , 感 兴趣 的 读者 可 
自己 思考 。 
还 有 两 种 著名 的 多 步 法 公式 是 Milne( 米 尔 恩 ) 公 式 和 Hamming( 海 明 ) 公 式 ,它们 分 别 为 


yen = ms 十 要 (21, 一 fo 十 2f2)， (8.66) 


有 $C9y, we 四 i (8.67) 


Milne 公式 是 四 步 显 式 公式 ,具有 4 阶 准确 度 。Hamming 公式 是 三 步 隐 式 公式 ,也 具有 4 阶 
准确 度 。 这 两 个 公式 常常 构成 预测 -校正 格式 加 以 应 用 。 

关于 多 步 法 ,最 后 说 明 几 点 。 

(1) 由 于 可 利用 前 面 已 计算 的 了 函数 值 ,采用 多 步 法 求解 初 值 问题 时 ,每 前 进一步 ,只 
需 计 算 一 次 了 函数 值 ,因此 计算 效率 较 高 。 而 且 计 算 量 几乎 不 随 准 确 度 阶 数 的 提高 而 增 大 ， 
这 是 相 比 R-K 方法 ( 单 步 法 ) 最 明显 的 优势 。 

(2) 由 于 需要 前 面 若干 点 上 的 函数 值 ,所 以 多 步 法 不 是 “ 自 启动 ”的 ,开始 时 必须 使 用 单 
步 法 或 者 低 阶 的 多 步 法 产生 足够 的 初始 值 。 

(3) 相 比 R-K 方法 ( 单 步 法 ), 多 步 法 的 编程 较 复杂 ,尤其 是 考虑 步 长 可 以 改变 的 情况 
更 加 复杂 。 

(4) 对 于 预测 -校正 格式 ,可 用 预测 值 与 校正 值 的 差 作 为 局 部 误差 估计 ,构造 自动 变 步 
长 的 解法 。 

(5) 虽然 隐 式 方法 比 显 式 方法 更 稳定 ,但 它 并 不 是 无 条 件 稳定 的 。 事实 上 ,超过 2 阶 的 
多 步 法 都 不 是 无 条 件 稳定 的 。 

(6) 为 了 方便 ,本 节 只 讨论 步 长 固定 的 多 步 法 ,实际 的 软件 包 中 一 般 采用 变 步 长 的 多 步 
法 ,其 计算 公式 的 推导 过 程 与 Adams 方法 和 BDF 方法 类 似 。 


8.5 ”党 微分 方程 组 与 实用 技术 
实际 问题 中 往往 包括 多 个 相互 关联 的 系统 量 ,而 高 阶 常 微分 方程 也 可 化 成 1 阶 常 微分 


方程 组 ,因此 常 微分 方程 组 的 数值 求解 非常 重要 。 本 节 对 有 关 问 题 进行 介绍 ,同时 结合 
“0 有 
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MATLAB 的 相关 功能 介绍 求解 常 微 分 方程 (组 ) 初 值 问题 的 实用 技术 。 
8.5.1 1 阶 常 微分 方程 组 


通过 变量 代 换 ,可 将 高 阶 常 微分 方程 化 成 多 个 1 阶 常 微分 方程 ,因此 只 需 考虑 1 阶 常 微 
分 方程 组 ,同时 仅 考 虑 显 式 方程 , 即 
y = f(y), 
其 中 ,函数 f; RT 一 R",y 一 [XGO yD]T,y 二 [yi(t) … y(t)]'。 得 到 相应 的 
初 值 问题 为 
| A (8. 68) 
y(to) = yo 
其 中 ,yoER" ,为 已 知 量 。 
将 定理 8. 1 推广 到 高 维 情况 ,可 建立 常 微分 方程 组 初 值 问题 ( 见 式 (8. 68)) 可 解 性 的 理论 ， 
这 里 不 详细 讨论 。 与 单个 常 微分 方程 的 情况 类 似 , 一 般 情况 下 ,问题 ( 见 式 (8. 68)) 的 解 总 是 存 
在 并 且 唯 一 。 
若 函 数 『 是 关于 y 的 线性 函数 , 则 得 到 线性 常 微分 方程 组 
y =A(C(y+b(), (8.69) 
其 中 ,A(W) 为 nXn 和 矩阵 ,每 个 矩阵 元 素 均 为 1 的 函数 ,b(7) 为 n 维 列 向 量 。 更 特殊 的 一 种 情 
况 是 线性 、 齐 次 、 常 系数 常 微分 方程 组 
了 一 47， (8.70) 
其 中 ,AER"*"。 
分 析 常 微分 方程 组 初 值 问 题 的 敏感 性 时 ,定义 8. 1 仍然 适用 。 一 般 地 ,分 析 较 困难 ,只 
对 方程 (8.70) 进 行 讨论 ,并 假定 矩阵 4 可 对 角 化 。 设 矩阵 4 的 个 特征 值 为 A ,Xs，… ,24,， 
对 应 的 特征 向 量 为 v1 .vs,…,v,, 则 可 将 初 值 yo。 表示 为 特征 向 量 的 线性 组 合 : 


三 Day, 
易 知 ,方程 (8.70) 对 应 的 初 值 问 题 的 解 为 
y(t) = Da wien, (8.71) 


由 此 可 见 , 原 问题 的 稳定 性 由 特征 值 4;(i==1,2,…,n) 决 定 。 若 存在 某 个 4 的 实 部 大 于 
0, 它 使 (0 包含 一 个 随时 间 指 数 增 长 的 成 分 ,当初 值 发 生 扰 动 时 , 带 来 的 误差 将 随 1 一 而 
发 散 。 反 之 , 若 对 每 个 特征 值 都 有 Re(%;) 三 0, 则 初 值 的 扰动 不 会 使 得 解 的 误差 发 散 。 根据 
定义 8. 1 我们 知道 ,方程 (8.70) 对 应 的 初 值 问题 稳定 的 充 要 条 件 是 Vi,Re(4;) 三 0, 这 说 明 分 
析 它 的 稳定 性 须 考查 矩阵 4 的 特征 值 。 

对 一 般 的 非 线性 常 微分 方程 组 了 一,y) ,只 能 分 析 某 个 给 定 解 y(t) 附 近 的 局 部 稳定 
性 。 通 过 泰勒 展开 将 常 微分 方程 局 部 线性 化 ,产生 形 如 

z = .Jt ye (8.72) 
的 线性 常 微分 方程 组 ,其 中 J 是 了 关于 y 的 雅 可 比 和 矩阵 (第 2.7 节 中 的 定义 2. 4) ,未 知 函数 为 z。 
根据 前 面 的 讨论 ,分 析 式 (8.72) 的 稳定 性 只 需 看 矩阵 J 的 特征 值 。 一般 地 , 雅 可 比 和 矩阵 的 值 还 依 
束 于 自 变 量 上 的 取 值 , 所 以 根据 它 可 分 析 具体 点 附近 的 稳定 性 ,得 到 的 结论 是 局 部 有 效 的 。 
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例 8.11 (牛顿 第 二 运动 定律 ) : F 二 ma, 即 力 下 等 于 质量 m 乘 以 加 速度 a, 它 可 能 是 最 
著名 的 常 微分 方程 。 这 个 方程 建立 了 物体 的 空间 位 置 与 其 2 阶 导数 之 间 的 关系 。 若 考虑 一 
维 空间 内 的 运动 ,物体 位 置 为 单个 函数 y(z) , 则 微分 方程 为 

my’(t) = F(t,y,y (CD))， 
其 中 , 力 下 通常 与 时 间 7 位置 y(1) 和 速度 y (1) 有 关 。 试 写 出 等 价 的 1 阶 方程 组 ,并 分 析 当 
下 与 y(t)、y (1t) 无 关 时 ,相应 初 值 问题 的 稳定 性 。 
【 解 】 记 汶 二 y(0) ,ys 二 y (1), 则 等 价 的 1 阶 方程 组 为 


/ 
Sr™— 

FGt,yi,yz) 。 
(= JI1，y2 


m 


车 下 与 y(1)、y' (oO 无 关 , 则 此 方程 组 为 线性 、 常 系数 常 微 分 方程 组 ,系数 矩阵 为 
可 而 
0 0 

矩阵 A 可 对 角 化 , 且 两 个 特征 值 均 为 0, 因此 初 值 问题 是 稳定 的 。 国 

例 8. 12 (化 学 反应 建 模 ): 假设 3 种 化 学 物质 的 浓度 随时 间 变 化 的 函数 为 mm (Co 、ys (0 、 
ys(t)。 如 果 在 化 学 反应 中 第 一 种 物质 变 为 第 二 种 物质 的 速度 与 wm 成 正比 ,第 二 种 物质 变 为 
第 三 种 物质 的 速度 与 y, 成 正比 , 试 建立 这 3 个 浓度 所 满足 的 常 微分 方程 组 ,分 析 其 类 型 和 
初 值 问 题 的 稳定 性 。 

【 解 】 根据 题 意 ,可 建立 如 下 微分 方程 组 : 
y1 =— kiyi 
32 一 kiy1 — ks yz 


233 一 kz yz 
其 中 ,As 为 反映 反应 速度 的 比例 常数 , 均 大 于 0。 该 方程 组 为 线性 、 齐 次 、 常 系数 微分 方 
程 组 ,系数 和 矩阵 为 


一 局 0 0 
4 一 | hk —k 0|， 
0 如 0 
矩阵 4 的 特征 值 均 不 大 于 0, 因此 它 是 稳定 的 问题 。 图 


本 章 前 面 几 节 介绍 的 方法 都 可 用 于 常 微分 方程 组 的 求解 ,只 要 把 y 和 都 理解 为 向 
量 , 则 各 种 计算 公式 都 可 以 应 用 。 例如, 欧 拉 法 的 计算 公式 为 
JaH = ya hf (bs ys) 。 
4 阶 经 典 R-K 公式 为 


yi = 和 十 业 (6 十 2%6 十 2 土语 


6 
ki = f(t,,y,) 
h hh 
ks 一 /(4+ 各 ,y+ 各 :| 


h h 
ks = A To + hk ) 


ks = fC + hy + hks) 
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例 8.13( 求 解 常 微分 方程 组 ): 试用 欧 拉 法 求解 常 微分 方程 组 
y= yz 
le 2y — 3y2 
的 初 值 问题 。 初 值 为 y,(0)==1,y,(0) 二 2, 取 步 长 =0.1, 计 算 两 步 。 
【 解 】 用 欧 拉 法 计算 一 步 的 公式 为 
ynti = yn hf tryn) 。 


1 0 1 、 
本 是 中 ,=| |/ 一 | :mi 


-+ a 
人 


+ 0 | | | 
J Ll ese Vd ow 


即 计算 出 :一 0. 2 时 的 数值 解 为 了 1(0.2)=1. 32,F2(0.2)==0. 6。 
容易 验证 此 问题 的 准确 解 为 y(t)==4e-' 一 3e-*,ys(1) 二 一 4e-' 十 6e-*。 因此 ,t= 二 0.2 
时 的 准确 解 为 mw(0.2) 王 1.264,y (0.2) 一 0.747 ,与 数值 解 相 差 不 大 。 图 
在 常 微分 方程 组 的 求解 过 程 中 ,也 要 注意 数值 解法 的 稳定 性 。 以 方程 组 (8. 70) 为 例 , 考 
虑 欧 拉 法 的 稳定 性 ,计算 公式 为 
yl = yhAy, = (ThA)y,. 
假设 y, 存在 扰动 6, , 则 由 它 引 起 w+ 的 误差 为 
Gn= (I+hA) 6G, 
要 使 6,41 的 大 小 不 超过 6, ,或 者 随 着 n 的 增 大 ,误差 不 会 发 散 为 无 穷 大 , 则 要 求 和 矩阵 I 十 hA 
的 特征 值 均 不 超过 1, 即 谱 半 径 
po(I+hA)Z1., (8.73) 
也 就 是 说 ,对 矩阵 4 的 任 一 个 特征 值 M;, ,都 应 满足 
| 也 半 丙 二 汪 5 (8.74) 
这 给 出 了 用 欧 拉 法 求解 常 微分 方程 组 (8. 70) 保 证 稳定 的 
。 充 要 条 件 。 一般 地 ,特征 值 2; 为 复数 , 则 ha; 在 复 平面 的 稳定 
Re(h%) ”区 域 如 图 8-7 所 示 。 注 意 , 它 与 描述 欧 拉 法 求解 模型 问题 稳 
定 区 域 的 图 8-2 几乎 一 样 。 更 进一步 , 若 特征 值 4; 为 实数 , 则 


得 到 稳定 性 对 步 长 的 限制 条 件 


图 8-7 欧 拉 法 解 常 微分 方 一 一 多 
程 组 的 稳定 区 域 4 和 个。 


根据 这 个 要 求 看 例 8. 13, 由 于 两 个 特征 值 分 别 为 一 1 和 一 2, 欧 拉 法 的 步 长 应 满足 
hs- 一 1, 采 用 /一 0.1 是 满足 稳定 性 要 求 的 。 


对 更 一 般 的 常 微 分 方程 组 ,上 述 分 析 仍 然 有 效 , 只 需 将 ;看 成 是 雅 可 比 矩 阵 Jr 的 特征 
值 , 然 后 根据 具体 方法 求解 单个 常 微分 方程 模型 问题 时 的 稳定 性 要 求 , 可 确定 步 长 的 稳定 
区 间 。 


Im(hX,) 
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8.5.2 MATLAB 中 的 实用 ODE 求解 器 


MATLAB 软件 包含 了 多 个 实用 的 常 微分 方程 初 值 问题 求解 器 ,如 前 面 提 到 的 ode23 命令 
( 见 8.3.4 节 )。 表 8-9 列 出 了 这 些 命令 ,并 简要 说 明了 它们 的 特点 。 实际 上 ,这 些 求解 器 分 为 
两 类 : 前 3 个 为 显 格式 方法 ,为 了 保证 计算 的 稳定 性 ,对 某 些 问题 效率 很 低 ( 这 类 问题 称 为 “刚性 
问题 ” ;后 4 个 为 隐 格 式 方法 ,稳定 性 对 步 长 的 限制 较 小 ,因此 适合 于 求解 “刚性 问题 ”。 
表 8-9 MATLAB 中 求解 常 微 分 方程 初 值 问题 的 命令 
函数 名 内 部 算法 说 明 


ode23 | 显 格式 , 单 步 法 ,采用 BS23 算法 的 自动 变 步 长 RK 方法 a 


显 格式 , 单 步 法 ,包含 一 个 4 阶 和 5 阶 公式 的 自动 变 步 长 一 般 情况 下 ,首先 尝试 使 用 它 求解 


ode45 | RK 方法 
1s | 旺 格 式 ,多 步 法 ,采用 变 阶 数 的 AdamsBashforth | 适合 于 精度 要 求 训 或 计算 了 两 数 代 
Moulton 预测 校正 公式 价 高 的 情况 
odel5s | 隐 格 式 ,多 步 法 ,采用 变 阶 数 的 NDF 或 BDF 公式 适合 于 刚性 问题 
ode23s | 隐 格 式 , 单 步 法 ,采用 改进 的 2 阶 Rosenbrock 公式 在 精度 要 求 不 高 的 情况 ,效率 可 能 
高 于 odel5s 


ode23t | 隐 格 式 , 单 步 法 ,采用 基于 “自由 ”插值 基 范 数 实现 的 梯形 法 | 精度 要 求 不 高 的 适度 刚性 问题 
ode23tb | 隐 格 式 , 单 步 法 ,采用 两 级 隐 式 R-K 方法 适用 情况 类 似 于 ode23s 


下 面 简要 说 明 什 么 样 的 常 微分 方程 初 值 问 题 是 “刚性 问题 ”。 
定义 8.6: 车 一 个 常 微分 方程 初 值 问题 的 准确 解 函 数 随时 间 变 化 缓慢 ,但 经 过 其 附近 点 
( 且 满 足 原 微分 方程 ) 的 解 是 随时 间 变 化 很 快 的 函数 , 则 这 类 问题 称 为 刚性 问题 (stiff 
problem) 。 
刚性 问题 可 能 是 单个 常 微分 方程 ,也 可 能 是 常 微分 方程 组 。 求解 刚性 问题 时 ,由 于 准确 
解 附近 的 解 变 化 很 快 ,所 以 实际 计算 中 必须 采用 很 小 的 步 长 ,才能 防止 数值 解 过 大 地 偏离 准 
确 解 。 实 际 上 ,刚性 问题 反映 的 是 求解 过 程 的 计算 效率 问题 , 它 可 以 通过 数值 解法 的 稳定 性 
分 析 解 释 , 即 由 于 稳定 性 要 求 , 使 得 步 长 必须 很 小 。 一 般 采 用 显 式 方法 求解 刚性 问题 的 计算 
效率 很 低 ,而 采用 无 条 件 稳定 或 稳定 区 间 很 大 的 隐 式 方法 时 ,可 取 较 大 的 步 长 。 
例 8.14 (刚性 问题 ): 考虑 常 微分 方程 初 值 问题 
y 一 一 100y 十 100t 十 101， 上 二 0 
as 一 下 01 ” 
假设 步 长 4==0.1, 使 用 欧 拉 法 进行 求解 的 结果 列 于 表 8-10 中 。 
表 8-10 例 8.14 的 计算 结果 


才 0.0 0.1 Qa2 0.3 0.4 
准确 解 E00 1. 100 000 1. 200 000 1. 300 000 1. 400 000 
欧 拉 法 lb 1.01 2.01 一 5.99 67.0 

向 后 欧 拉 法 1.01 1. 100 909 1. 200 083 1. 300 008 1. 400 001 


* 
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该 微分 方程 的 通 解 为 
y= 1 
代入 初 值得 到 原 问 题 的 准确 解 为 
y(t) = 1 二 t+ 0.0le 。 
表 8-10 中 也 列 出 了 准确 解 。 通过 对 比 看 出 , 欧 拉 法 的 解严 重 偏离 准确 解 。 事实 上 ,准确 解 
1+L+0.01 exp(—1007) 的 曲线 如 图 8-8 所 示 ,变化 非常 缓慢 ,但 由 于 通 解 中 包 

含 项 es”, 附近 的 解 变 化 很 快 ,所 以 一 旦 数值 解 稍 稍 
偏离 准确 解 ,采用 局 部 斜率 的 显 式 方法 就 会 使 误差 迅 
速 放 大 。 本 例题 就 是 一 个 典型 的 刚性 问题 。 

作为 对 比 ,我 们 也 采用 向 后 欧 拉 法 进行 求解 , 步 长 
也 取 / 一 0.1, 结 果 列 于 表 8-10 的 最 后 一 行 。 可 以 看 
出 ,向 后 欧 拉 法 的 结果 更 准确 。 
一 一 一 一 从 算法 稳定 的 角度 看 ,本 问题 的 雅 可 比 矩 阵 万 三 


0 0.1 02 03 0.4 0.5 
1 一 100, 其 特征 值 也 就 是 一 100, 因 此 ,为 保证 稳定 , 欧 拉 


图 8-8 刚性 问题 ( 例 8. 14) 的 准确 解 _2 
法 的 步 长 应 满足 A< -二 2 一 0.02。 上面 计 算 中 没有 


满足 此 条 件 , 才 出 现 不 稳定 的 情况 。 对 于 这 种 刚性 问题 ,用 欧 拉 法 等 显 格式 方法 求解 ,必须 
采用 很 小 的 步 长 ,才能 保证 准确 ,因此 效率 很 低 。 而 向 后 欧 拉 法 等 隐 格 式 方法 稳定 区 间 大 ， 
因此 很 适合 求解 刚性 问题 。 国 

从 上 述 例子 看 出 ,刚性 问题 实际 上 就 是 不 适合 使 用 显 式 方法 求解 ,或 显 式 方法 效率 很 低 
的 问题 。 了 解 到 这 一 点 ,可 指导 我 们 选择 使 用 合适 的 ODE 求解 器 。 下 面 通过 几 个 例子 说 明 
MATLAB 中 有 关 命 令 的 使 用 。 

例 8.15 (火焰 燃烧 问题 ) : BS23 算法 的 作者 L. Shampine 提出 过 一 个 描述 火焰 燃烧 的 
微分 方程 ,刻画 点 燃 一 根 火柴 时 火焰 半径 迅速 增 大 的 动态 过 程 。 假 设 y(?) 为 火焰 半径 ,半径 
增 大 的 速度 应 该 与 净 供 应 的 氧气 量 成 正比 ,后 者 等 于 表面 供应 的 氧气 减 去 内 部 消耗 的 氧气 ， 
分 别 与 y* 和 y 成 正比 。 根据 上 述 分 析 , 采 用 适当 的 单位 ,可 得 到 如 下 的 常 微分 方程 : 

y=y yt>0 
| 一 7 ” 
其 中 ,7 为 初始 的 火焰 半径 , 取 w=0.0001, 求 y(1) 的 变化 曲线 。 

MATLAB 中 任何 一 种 ODE 求解 器 都 有 3 个 必需 的 输入 参数 , 即 三 函数 .求解 时 间 范 

围 和 >y 函数 的 初始 值 。 定义 函数 有 多 种 方法 ,对 本 例 可 采用 简单 的 匿名 函数 : 


>>f=@ (t,y) Y^2-Y^37 


它 说 明了 /是 关于 t 和 y 的 二 元 函数 。 假设 求解 时 间 范 围 为 LC0,15 000], 则 使 用 ode45 
求解 器 的 命令 为 


1.50 上 


>>ode45(f£, [0,15000],0.0001) 7 


在 不 加 返回 值 的 情况 下 ,ODE 求解 器 自动 画 出 y(7z) 的 变化 曲线 ,并 标记 出 计算 过 程 中 

的 结 点 。 上 述 命令 生成 的 y(t) 函数 曲线 如 图 8-9 所 示 。 从 图 8-9 中 看 出 ,t= 二 10 000 时 ,火焰 

半径 迅速 增 大 并 达到 一 个 稳定 的 值 ,这 与 现实 情况 相符 ,这 种 稳定 状态 表明 火焰 内 部 燃烧 耗 
. 312。 
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费 的 氧气 和 其 表面 现存 的 氧气 达到 了 一 种 平衡 。 

从 图 8-9 还 可 以 看 出 ,这 是 一 个 刚性 问题 ,在 y(1) 达 到 稳定 值 1 后 ,仍然 需要 很 小 的 步 
长 ,导致 计算 效率 很 低 。 采用 刚性 求解 器 ode23s 重新 计算 此 例 , 得 到 的 结果 如 图 8-10 所 
示 。 可 以 看 出 ,刚性 求解 器 所 需 的 计算 步 数 少 得 多 ,而 且 通 过 统计 计算 时 间 发 现 ,ode23s 求 


解 该 问题 的 时 间 大 约 是 ode45 的 1/6 。 国 

14 前 14 

12| 演 1.2 上 
1.0 上 1.0 上 | 
0.8 上 08 上 | 
0.6 上 | 0.6 上 
04| 0.4| 
02| 02 上 

0 5000 10000 15 000 0 00 ~ 10000 15 000 
图 8-9 用 ode45 求解 例 8. 15 图 8-10 用 ode23s 求解 例 8. 15 


例 8.16 ( 常 微分 方程 组 ): 用 MATLAB 中 的 ode23 命令 求解 例 8. 11 中 的 常 微分 方程 
组 ,假设 F(t,y,y (1))/m 二 64, 初 始 值 为 y1(0)==0,ys(0) 二 1。 
【 解 】 待 求解 的 常 微分 方程 组 为 
= J 
{x- 6 “ 
为 了 定义 向 量 函 数 f(1,y) ,使 用 MATLAB 中 的 . m 文件 。 


function ydot=ffun (t,y); 
ydot=[y(2); 6*t]; gs 列 向 量 


然后 假设 时 间 范 围 为 [0,1] ,求解 的 命令 如 下 : 45 
>>ode23 (effun, [0,1], [0;1]); 


注意 函数 名 前 的 @ 符 号 ,最 后 一 个 参数 是 初始 
值 ,这 里 是 一 个 列 向 量 ,得 到 的 两 条 解 函数 曲线 如 图 
8-11 所 示 。 本 题 有 解析 解 ,为 y (0 一刀 十 ,ya (1) 二 
32 十 1, 它 与 数值 解 是 吻合 的 。 国 
从 这 个 例子 可 以 看 出 ,用 MATLAB 求解 常 微分 
方程 组 和 求解 单个 常 微 分 方程 没有 多 大 区 别 , 只 将 ”0 04 00 08 10 


使 用 到 的 一 些 量 设 为 向 量 即 可 。 图 8-11 用 ode23 求解 例 8. 16 得 到 的 
除了 上 述 介绍 的 功能 , MATLAB 的 ODE 求解 两 条 解 函数 曲线 


器 还 可 以 自 定义 计算 的 节点 和 步 长 ,并 且 在 输入 参 
数 中 增加 options 参数 ,可 灵活 地 设置 误差 控制 .输出 .事件 .定义 雅 可 比 矩 阵 、 隐 式 常 微分 
方程 等 功能 。 这 些 功 能 通过 单独 的 odeset 命令 实现 。 而 采用 标准 的 命令 格式 


[T,Y]=solver (odefun,tspan, y0,options) 


和 
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还 可 以 返回 离散 的 时 间 点 了 和 对 应 的 未 知 函 数值 了 Y。 关 于 这 些 功能 的 详细 介绍 , 感 兴趣 的 
读者 可 查询 MATLAB 的 联机 帮助 文档 。 


应 用 实例 : 洛 伦 兹 吸引 子 


1. 问题 背 

世界 上 对 常 微分 方程 研究 最 广泛 的 领域 之 一 是 洛 伦 座 吸引 子 (Lorenz attractor) , 它 最 
先 由 美国 MIT 大 学 的 数学 家 和 气象 学 家 Edward Lorenz 在 1963 年 提出 。Lorenz 提出 的 方 
程 是 大 气流 体 动力 学 的 一 个 简化 模型 , 它 模拟 大 气 的 对 流 , 可 用 于 长 期 天 气 预报 。Lorenz 方 
程 是 一 个 常 微分 方程 组 ,可 写成 


y =Ay 
其 中 ,y= 二 [y1(2) ,ye (bt) ,ys(t)JT ,而 
= 0 y2 
A= 0 = | 
— Ys e 1 


解 的 第 一 个 分 量 wm(i) 和 大 气 的 对 流 相 关 , 另 外 两 个 分 量 分 别 与 温度 的 水 平和 竖 直 变化 
相关 。 参数 6 称 为 普兰 特 数 ,o 是 规范 化 的 瑞 利 数 ,B 和 模拟 区 域 的 几何 形状 相关 。 

由 于 矩阵 4 中 有 两 个 元 素 是 y*。 和 一 % ,看 起 来 简单 的 Lorenz 方程 是 一 个 非 线 性 常 微 
分 方程 ,没有 解析 解 。Lorenz 用 数值 方法 对 其 进行 求解 ,揭示 了 解 函 数 y(1) 的 奇特 性 质 , 它 
是 最 早 发 现 的 混沌 现象 之 一 。 

2. 吸引 子 的 位 置 

Lorenz 方程 组 中 没有 随机 的 因素 ,因此 解 y(1) 完 全 由 上 面 的 参数 和 初始 条 件 确定 。 数 
值 仿真 的 结果 表明 , 当 这 些 参 数 取 某 些 值 时 ,三 维 空间 中 y(1) 的 轨迹 混乱 地 在 两 个 点 (吸引 
子 ) 之 间 往 返 , 有 界 但 无 周期 ,不 收 健 也 不 自 交 ( 见 图 8-12 和 图 8-13)。 这 是 一 种 “混沌 ” 现 
象 。 而 对 于 参数 的 另外 一 些 值 , 解 可 能 会 收 华 于 一 个 固定 点 ,发 散 到 无 穷 远 或 周期 性 振荡 。 

图 8-13 显示 的 是 随时 间 4 的 变化 ,ys 和 ya 构成 的 相位 投影 图 ,其 中 明显 地 看 到 有 两 个 


y 
1(D) 


-20 上 
-25L_ 和 
0 一 0 0330 0 5 10 15 20 25 
2 
图 8-12 解 函 数 随时 间 变 化 图 图 8-13 相位 投影 图 
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奇异 吸引 子 ,它们 其 实 是 常 微分 方程 的 两 个 固定 点 (或 不 动 点 )。 为 了 求 这 两 个 吸引 子 的 位 
置 , 需 考虑 初始 值 y(to) 为 何 值 时 Ay(to) 二 0。 
根据 矩阵 A, 可 以 证 明 它 为 奇异 阵 的 充 要 条 件 是 
ys = 土 VB(o—1) 。 
进一步 求 矩 阵 A 的 化 零 向 量 , 并 使 其 第 二 个 分 量 等 于 ys, 则 得 到 这 样 的 化 零 向 量 为 
pe—1 
z= yz2 
yz 
容易 验证 hz 一 0。 因 此 , 若 y() 王 [o 一 1, VBCp 一 1), VBC(p 一 1)]', 或 [p 一 1, 一 VB(o 一 1)， 
一 VB(o 一 )]', 对 所 有 的 1, 都 有 yy 二 0, 因 此 y(1) 保 持 不 变 。 这 两 个 初始 值 就 是 两 个 吸引 子 。 
事实 上 ,这 两 个 不 动 点 是 不 稳定 的 ,只 要 轨迹 不 从 它们 开始 ,就 永远 不 会 达到 其 中 任何 一 个 , 轨 
迹 在 它们 附近 将 受到 排斥 。 
Lorenz 方程 中 典型 的 参数 取 值 是 po 一 28,B 一 8/3, 则 算出 吸引 子 的 位 置 为 [27,8. 49,8.49]™ 
和 [27, 一 8.49 ,一 8.49]T。 
3. MATLAB 实验 
利用 本 章 所 学 知识 可 以 编写 程序 来 数值 求解 Lorenz 方程 ,从 而 观察 Lorenz 吸引 子 解 
曲线 和 相位 轨迹 。 下 面 使 用 MATLAB 自 带 的 ODE 求解 器 进行 求解 ,假设 初始 值 (to ) 稍 
稍 偏离 吸引 子 [27,8. 49,8.49]"。 具 体 的 程序 如 下 。 


function ydot=Lorenzydot (t,y, sig,b,r) 
ydot=[y(2) *y(3)-bxy(1);sig* (y(3)-y(2));r*y(2)-y(3)-y(2) *y(1)]; 
end 
>>sig=10;b=8/3;r=28; 
>>TC= [r= 130rElD ze (r=1))73qrt (be tr Ll 
>>y0=yc+ [0;0;3]; 
>>tspan= [0,50]; 
>>opts=odeset ('outputfcn',@odephas2,'Outputsel', [1,2]); 
>>oqde23 (@Lorenzydot, tspan,y0,opts, sig,b,r); sy -yz 相位 图 
>>figure (2) 
>>opts=odeset ('outputfcn',@odephas2,'Outputsel', [1,3]); 
>>ode23 (@ Lorenzydot,tspan,y0,opts, sig,b,r); $y; -ys 相位 图 
>>figure (3) 
>>opts=odeset ('outputfcn',@odephas2,'Outputsel', [2,3]); 
>>ode23 (@Lorenzydot, tspan,y0,opts, sig,b,r); s 了 及- 号 相位 图 


这 个 程序 通过 odeset 设置 ODE 求解 器 的 选项 ,方便 实现 二 维 的 相位 图 输出 ,得 到 的 前 


两 个 相位 图 如 图 8-14 和 图 8-15 所 示 , 最 后 一 个 与 图 8-15 类 似 。 
文献 [7] 提 供 了 一 个 功能 更 强大 的 Lorenz 吸引 子 演示 程序 , 感 兴趣 的 读者 可 以 参考 。 
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1768 年 , 欧 拉 研 究 了 常 微分 方程 初 值 问 题 ,提出 了 现在 大 家 熟知 的 欧 拉 法 。 对 欧 拉 法 
的 更 详细 分 析 和 应 用 是 由 柯 西 于 1840 年 完成 的 。 在 后 续 工作 中 ,亚当 斯 (Adams) 做 出 了 较 
大 贡献 。 他 于 1846 年 和 Le Verrier 一 起 根据 天 王 星 轨道 的 摄 动 预测 计算 出 了 海王 星 的 轨 
道 。1883 年 ,他 提出 了 Adams-Bashforth 和 Adams-Moulton 两 种 多 步 法 。 龙 格 `.Heun 和 库 
塔 在 1895 一 1901 年 提出 了 多 种 方法 ,形成 龙 格 - 库 塔 方法 。Fehlberg 于 1970 年 发 表 了 一 种 
自动 变 步 长 R-K 方法 ,类 似 于 ode45 的 算法 使 用 4 阶 和 5 阶 的 R-K 公式 ,而 ode45 采用 的 
Dormand、 Prince 公式 对 在 1980 年 才 被 提出 。1952 年 ,Curtis 和 Hirschfelder 提出 了 多 步 
法 中 的 隐 式 BDF 方法 ,这 种 方法 由 于 Gear 在 1971 年 出 版 的 书 得 到 普及 和 推广 ， 

。 C. W. Gear, Numerical Initial Value Problems in Ordinary Dif ferential Equations. 

Prentice Hall, Englewood Cliffs, NJ. 1971. 

目前 ,BDF 方法 已 成 为 求解 刚性 常 微分 方程 有 效 的 方法 。 关 于 常 微分 方程 数值 解法 的 
稳定 性 分 析 , 是 由 Dahlquist 于 20 世纪 50 年 代 研 究 提出 的 。 

除了 本 章 介 绍 的 方法 ,还 有 多 值 法 和 基于 外 推 的 方法 等 ,它们 都 是 20 世纪 60 年 代 以 后 
被 提出 的 。 除了 初 值 问题 ,实际 应 用 中 需求 解 常 微分 方程 的 还 有 边 值 问 题 (boundary value 
problem) ,延迟 微分 方程 (delay differential equation) 等 。 下 面 的 书 结 合 MATLAB 介绍 了 
这 些 方面 的 实用 技术 : 

*。 L. F. Shampine,lI. Gladwell,S. Thompson, Solving ODEs with MATLAB, 

Cambridge University Press,2003. 

该 书 的 作者 Shampine 也 是 MATLAB 中 ODE 求解 器 软件 的 开发 者 69 。MATLAB 
中 ,符号 运算 工具 箱 提供 了 求解 常 微 分 方程 的 命令 dsolve, 它 可 求 出 简单 常 微分 方程 的 通 解 
和 初 值 问题 的 特 解 , 也 可 求 线性 常 微分 方程 组 的 通 解 和 特 解 。 当 然 , 对 于 复杂 的 方程 ,dsolve 
命令 就 无 能 为 力 了 。 

微分 代数 方程 组 (differential algebraic equations,DAE) 是 与 常 微分 方程 存在 联系 的 一 

，316 。 
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类 问题 ,关于 它 的 求解 方法 ,可 参考 : 
。 U. M. Ascher, L. R. Petzold, Computer Methods for Ordinary Differential 
Equations and Differential-Algebraic Equations ,SIAM Press,1998. 
而 高 度 振荡 的 常 微分 方程 需要 一 些 特殊 的 求解 技术 ,可 参考 : 
。 LL. R. Petzold, L. O. Jay, J]. Yen, Numerical solution of highly oscillatory 
ordinary differential equations, Acta Numerica, Vol. 6,pp. 437-484 ,1997. 
【本 章 知识 点 】 显 式 常 微 分 方程 ;高 阶 常 微 分 方程 转换 为 1 阶 常 微分 方程 组 ; 常 微分 方 
程 的 初 值 问题 ;线性 常 微分 方程 ; 初 值 问题 的 稳定 性 (稳定 ,不 稳定 渐进 稳定 ); 局 部 稳定 性 
分 析 ; 单 步 法 /多 步 法 ; 显 格式 方法 / 隐 格 式 方法 ; 单 步 法 的 稳定 性 ;稳定 区 域 /稳定 区 间 ; 局 部 
截断 误差 ;准确 度 阶 数 .收敛 性 ; 欧 拉 法 ;向 后 欧 拉 法 ;梯形 法 ; 龙 格 - 库 塔 方法 ; 显 式 R-K 公 
式 的 推导 ;r 级 R-K 公式 的 准确 度 、 稳 定性 ;自动 变 步 长 的 R-K 方法 ;多 步 法 公式 的 推导 ; 
Adams 公式 ;预测 -校正 格式 ;1 阶 常 微分 方程 组 ;线性 常 微 分 方程 组 初 值 问题 的 稳定 性 分 
析 ; 常 微分 方程 组 的 解法 及 其 稳定 性 ;MATLAB 中 的 ODE 求解 器 ;刚性 问题 。 


算法 背后 的 历史 :“ 数 学 家 之 英雄 ” 欧 拉 


欧 拉 (Leonhard Euler,1707 年 4 月 15 日 一 1783 年 9 月 18 日 , 见 图 8-16), 瑞 士 数 学 家 
及 自然 科学 家 ,出 生 于 瑞士 的 巴塞 尔 , 痊 于 俄国 圣彼得堡 。 欧 拉 被 一 
些 数 学 史学 者 称 为 历史 上 最 伟大 的 两 位 数学 家 之 一 ( 另 一 位 是 卡尔 。 
弗 里 德里 希 。 高 斯 ) ,他 不 但 为 数学 界 做 出 贡献 ,更 把 数学 推广 到 几 
乎 整个 物理 领域 。 他 是 历史 上 最 多 产 的 数学 家 ,平均 每 年 写 出 800 
多 页 的 论文 ,还 写 了 大 量 有 关 力 学 、 分 析 学 、 几 何 学 、 变 分 法 的 课本 。 
在 许多 数学 的 分 支 中 经 常 能 见 到 以 他 的 名 字 命 名 的 重要 常数 、 公 式 
和 定理 。 

欧 拉 生 于 牧师 家 庭 ,15 岁 在 巴塞 尔 大 学 获 学 士 学 位 ,翌年 得 硕 
士 学 位 。1727 年 , 欧 拉 应 圣彼得堡 科学 院 的 邀请 到 俄国 ,1731 年 接 
替 丹 尼 尔 第 一 。 伯 努 利 成 为 物理 教授 。 在 俄国 的 14 年 ,他 以 旺盛 的 
精力 投入 研究 中 ,在 分 析 学 、 数 论 和 力学 等 方面 做 了 大 量 出 色 的 工作 。1741 年 , 欧 拉 受 普 鲁 
士 腓 特 烈 大 帝 的 邀请 到 柏林 科学 院 工 作 达 25 年 之 久 。 在 柏林 期 间 , 他 的 研究 内 容 更 加 广 
泛 , 涉 及 行星 运动 刚体 运动 热力学、 弹道 学 .人口 学 。1766 年 ,他 又 回 到 了 圣彼得堡 。 

欧 拉 的 主要 贡献 举例 

。 在 微 积分 方面 ,对 函数 概念 进行 了 系统 探讨 ,是 复 变 函数 论 的 先驱 者 。 

。 在 微分 方程 方面 ,提出 了 求解 初 值 问题 的 欧 拉 方法 ,开拓 性 地 研究 了 偏 微分 方程 。 

。 在 数论 方面 ,首先 发 现 二 次 互 反 律 ,提出 欧 拉 函 数 (RSA 公 钥 密码 算法 的 基础 ) 。 

。 在 几何 方面 ,引入 曲线 的 参数 表示 , 黄 定 了 曲面 理论 。 

。 为 图 论 黄 定 了 基础 。 

。 是 理论 流体 动力 学 的 创始 人 。 
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的 工 
过 度 
左 眼 
东西 
明了 
1776 


几 本 
学 家 


利用 


数学 家 之 英雄 一 一 欧 拉 


欧 拉 具 有 坚忍 的 裔 力 。 如 计算 芷 星 轨 道 ,这 是 需要 用 好 几 个 月 时 间 进 行 计算 ,才能 完成 
作 , 但 欧 拉 用 自己 创立 的 方法 ,奋战 三 日 就 完成 了 。 由 于 在 天 文 研究 中 长 期 观测 太阳 和 
工作 ,他 患 了 眼疾 , 右 眼 不 幸 失 明 ,但 他 不 顾 眼 疾 , 般 然 回 到 寒冷 的 圣彼得堡 工作 。 之 后 
视力 很 快 衰退 ,他 深 知 自己 的 双 目 将 完全 失明 ,但 并 没有 消沉 ,而 是 抓紧 还 能 滕 爱 看 见 
的 最 后 时 光 , 在 黑板 上 疾 书 他 发 现 的 公式 ,口述 其 内 容 , 让 人 笔录 。 后 来 , 欧 拉 双 目 都 失 
,不 幸 的 事 又 接 中 而 来 : 1771 年 ,彼得 堡 失 火 瑞 及 欧 拉 的 住宅 ,书籍 和 大 量 手稿 焚毁 ; 
年 , 爱 妻 柯 代 玲 娜 病故 ,在 这 些 不 幸 面 前 , 欧 拉 仍 没有 退缩 ,而 是 以 坚忍 的 毅力 奋斗 着 、 
拼搏 着 。 他 凭借 惊人 的 记忆 力 和 罕见 的 心算 能 力 ,艰苦 卓绝 地 从 事 研究 ,继续 让 人 笔录 他 的 
发 现 ,直到 他 生命 的 最 后 一 刻 。 在 双 目 失明 的 17 年 中 ,他 竟 口 述 了 400 篇 左右 的 论文 和 好 
专著 ,并 透彻 地 研究 了 曾 使 牛顿 头痛 的 关于 月 球 运 行 的 理论 。 因 此 ,纽曼 称 欧 拉 是 “ 数 


之 英雄 ”。 
欧 拉 名 言 
。 如 果 命 运 是 一 块 顽 石 ,我 就 化 为 大 锤 ,将 它 砸 得 粉碎 1 


。 虽然 不 允许 我 们 看 透 自 然 界 本 质 的 秘密 ,从 而 认识 现象 的 真实 原因 ,但 仍 可 能 发 生 


这 样 的 情形 : 一 定 的 虚构 假设 足以 解释 许多 现象 。 


。 一 个 科学 家 如 果 做 出 了 给 科学 宝库 增加 财富 的 发 现 ,而 不 能 坦率 阐述 那些 引导 他 做 


出 发 现 的 思想 ,那么 他 就 没有 给 科学 做 出 足够 的 工作 。 
练 习 题 


1. 写 出 与 下 列 常 微分 方程 等 价 的 1 阶 常 微分 方程 组 。 
(1) van der Pol 方程 ， 

Y=y(—y)—y. 
(2) Blasius 方程 


i 


yy =—yy 。 
(3) 两 体 运动 的 牛顿 第 二 运动 定律 ， 
»_ GMyi 
+ 
GMys 


本 G+ 
2. 将 下 述 积分 的 计算 看 成 常 微 分 方程 初 值 问题 : 


nl ) 
| e': dt。 
0 


欧 拉 方 法 计算 z=0.5,1,1.5,2 时 该 积分 的 近似 值 ( 步 长 任 取 ) 。 
3. 用 梯形 法 解 初 值 问题 

y 十 > 一 0 

[Gn =1" 


证 明 其 近似 解 为 
.318 ， 
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We 人 ) . 

并 证 明 当 /~0 时 , 它 收敛 于 原初 值 问题 的 准确 解 y“ 一 e 。 

4. 在 向 后 欧 拉 法 的 计算 中 ,一 般 需 求解 关于 y,+1 的 非 线 性 方程 (8. 19) , 若 使 用 牛顿 法 
求解 , 试 推导 相应 的 递 推 计算 公式 。 

5. 对 模型 问题 (8. 7) ,分 析 梯 形 法 的 稳定 性 ,推导 其 稳定 区 域 。 

6. 对 模型 问题 (8. 7) ,分 别 推导 向 后 欧 拉 法 、 梯 形 法 的 局 部 截断 误差 ,判断 其 准确 度 
阶 数 。 

7. 证 明 对 任意 参数 w, 下 列 龙 格 - 库 塔 公式 都 是 2 阶 的 : 


Vntl 一 Yn + 名 (Ks 十 天 3:) 


Ki = Fn) 
K, = f(t,tah,y, toahK) 
Ks; = f(t (1—o)h,y, (1—a)hK) 
8. 根据 模型 问题 (8.7) ,验证 4 阶 经 典 龙 格 - 库 塔 公式 (8. 38) 具 有 4 阶 准确 度 ,并 推导 
其 保持 稳定 时 满足 的 不 等 式 (8. 41)。 
9. 了 级 龙 格 - 库 塔 法 的 另 一 种 表达 式 为 


Vtl = y, +h Dck; 
i=1 
ki = Ja) 
Le | 
=f (hth ys th pi), (i=2,3,,7) 
j=1 


试 证 明 要 有 至 少 2 阶 准确 度 ,必定 有 
hs = pal。 
即 它 与 式 (8. 24) 是 等 价 的 。 
10. 判断 下 述 单 步 法 公式 是 否 满足 相 容 性 。 


Ynt1 = Yn hk yo 二 和 十 名 (3 一刀 ) 
ki=f(t,,y") 


h / 
已 一 /[(o+ 生 ,yw 二 和 


(1) (2) dh = fy,) 

k, = 人 (< 二 全 ,十 号 和 
大 而 一 十 全 (Ai Fe 
ki= f(t ya) 


(3) 
已 =/(+ 生 ,> 二 全 和 


3h 3h 
(+ 各 ,+ 全 


11. 对 于 初 值 问题 
y = 一 100(y 一 刀 ) 十 2 
Ln 一 1 
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(1) 用 欧 拉 法 求解 , 步 长 h 取 什么 范围 的 值 , 才 能 使 计算 稳定 ? 

(2) 若 用 4 阶 龙 格 - 库 塔 法 计算 , 步 长 h 如 何 选 取 ? 

(3) 车 用 梯形 公式 计算 ,对 步 长 hn 有 无 限制 ? 

12. 使 用 中 点 求 积 公式 ,可 得 到 求解 常 微分 方程 初 值 问题 的 隐 式 中 点 方法 
en mh 

a) 


的 本 一 > 十 厅 (< 十 二， 


确定 这 个 方法 的 准确 度 阶 数 和 稳定 区 间 。 
13. 分 析 两 步 跳跃 法 
Yrtl = Yel 2hf ts, yn) 
的 准确 度 阶 数 和 稳定 区 间 。 
14. 使 用 拉 格 朗 日 多 项 式 插值 推导 BDF 公式 (8. 65) ,并 证 明 它 具有 3 阶 准确 度 。 
15. 证 明 存在 一 个 x 值 ,使 线性 多 步 法 


和 六 G3 Ey a 


是 4 阶 的 ,其 中 ,=f(t sys) ,fi 二 f(b-1syn-1) 。 
上 机 题 


1. 编程 实现 算法 8. 1。 用 它 求解 例 8.3、 例 8. 4 和 例 8. 5 , 绘 出 数值 解 的 曲线 ,并 与 准确 
解 进行 比较 。 

2. 用 欧 拉 公式 解 常 微分 方程 初 值 问题 : 

y = 一 y 十 上 十 1，0 委 上 委 1 
JE = ” 

求 y(1) 的 近似 值 。 积 分 步 长 分 别 取 /一 0.1.0.01,0.001。 此 问题 的 准确 解 为 y(i) 一 上 十 e-。 

3. 设 有 常 微分 方程 初 值 问题 

y 一 一 > 十 2cost 
a 一 1 

其 精确 解 为 y(z) 三 cost 十 sint。 选取 步 长 ,使 得 4 阶 经 典 R-K 公式 和 4 阶 Adams-Bashforth 公 
式 均 稳 定 , 分 别 用 这 两 种 方法 在 区 间 [0,x] 上 求解 微分 方程 ,将 数值 解 与 精确 解 进行 比较 ,输出 
结果 。 同 时 比较 两 种 数值 方法 的 计算 效率 和 准确 度 。 多 步 法 的 初 值 由 4 阶 经 典 R-K 公式 
提供 。 

4. 分 别 用 4 阶 经 典 R-K 公式 及 Hamming 公式 与 同 阶 Milne 公式 建立 的 预测 -校正 系 
统 (可 用 4 阶 经 典 R-K 公式 提供 必要 的 开始 值 ) 计 算 如 下 初 值 问题 : 

y = 一 20y 十 20sint 十 cost t+ € [0,1] 
La 一 1 

求 y(1) 的 近似 值 。 计算 时 ,用 以 下 两 种 方法 选取 积分 步 长 h。 

方法 1: 1:€[0,1],h==0.075。 

方法 2: t€[0,0.2],h=0.01; t€E[0.2,1],h=0.075 。 

本 题目 会 遇 到 两 个 问题 : @ 按 给 定 步 长 积分 时 ,积分 终点 与 区 间 端 点 不 重合 ; @ 多 步 
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法 改变 步 长 。 试 提出 相应 解决 办 法 并 实现 之 (本 题 的 准确 解 为 y(1) 一 e 所 十 sint) 。 

5. 追击 问题 。 设 甲 向 正 北方 向 运动 , 乙 从 它 的 侧面 追击 ,他 们 均 做 匀速 运动 ,速度 分 别 
为 mu wm<uw。 如 图 8-17 所 示 , 初 始 时 刻 甲 位 于 坐标 原 ” y 
点 0, 乙 位 于 点 A(a,0)。 在 时 刻 二 甲 运动 到 点 中 NO 
B(0,umzi), 乙 追击 到 点 P(z,y)。 乙 的 运动 方向 始终 沿 甲 
乙 位 置 的 连 线 ,因此 ,直线 BP 总 与 乙 的 追击 路 径 y 一 yCz) 
在 已 点 相 切 。 

(1) 建立 +、y 关于 时 间 1 满足 的 常 微分 方程 组 。 

(2) 设 4==100m,w 二 1m/min, 分 别 取 w= 二 1. 5m/min，, 了 | 
2m/min,2. 5m/min, 用 4 阶 经 典 R-K 方法 求解 该 微分 方 
程 组 ,并 绘 出 追击 曲线 y(x)。 

(3) 根据 数值 解 求 甲 运动 到 何 处 时 能 被 乙 追 上 ”需要 多 少时 间 ? 追击 路 径 的 准确 解 为 


toy br 
a vv 到 史 v = be 1 CUVU1TU: 
Wz) | Ce ]+ 训 年。 
根据 它 考 查 数值 解 得 到 答案 的 误差 。 
(4) 用 MATLAB 中 的 ode45 命令 求解 该 问题 ,比较 结果 的 准确 度 。 


图 8-17 追击 问题 
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变量 字体 与 标记 


本 书 使 用 的 变量 都 采用 斜体 字母 表示 ,并 且 遵 循 下 述 原 则 (除非 在 程序 代码 或 算法 描 


BE 


粗 体 大 写字 母 表 示 和 矩阵 ,如 4.B。 

粗 体 小 写字 母 表示 列 向 量 , 如 x、y。 

正常 字体 的 符号 表示 标量 ,如 nt.a、A。 

带 下 标的 正常 字体 小 写字 母 表示 向 量 或 矩阵 的 元 素 ,如 mi、 。 

通过 增加 下 标 表示 向 量 或 矩阵 序列 中 的 向 量 或 矩阵 ,下 标 为 序号 ,如 x Ai。 

若 既 要 用 序列 中 的 序号 ,又 要 用 分 量 编号 , 则 用 带 括号 的 上 标 表 示 序 号 ,如 zf 表示 
第 & 个 向 量 x” 的 第 i 个 分 量 。 


. 与 数 . 向 量 , 和 矩阵 有 关 的 符号 


及 表示 实数 集合 ,R" 表 示 ? 维 实 向 量 空间 ,R"” "表示 冯 X 半 实 和 矩阵 的 集合 。 复 数 域 对 
应 的 表示 分 别 为 C、C" 和 C””"。 下 表示 计算 机 能 表示 的 浮 点 数 集合 。 
i 表示 单位 虚数 V 一 1, 在 不 混淆 的 情况 下 ,i 常用 于 表示 整数 编号 。 


(ja 个 数 中 选 k 个 组 合 数 。 


在 列 出 向 量 和 矩阵 的 分 量 形式 时 ,使 用 中 括号 []。 向 量 元 素 之 间 用 空格 或 逗号 分 
隔 , 和 矩阵 元 素 分 行 、 分 列 排列 , 且 不 用 逗号 分 隔 。 

(as ) 表 示 第 i 行 .第 j 列 位 置 上 元 素 为 的 矩阵 。 

47 表示 和 矩阵 4 的 转 置 ,4 一 表示 和 矩阵 4 的 着,det(4) 为 4 的 行列 式 ,rank(4) 为 矩阵 
4 的 秩 ,o(4) 为 4 的 谱 半径 。 


由 若干 个 向 量 (al ,qs,… ,a ) 张 成 的 线性 空间 , 即 {Disz, €E Ri=1,2,.n}, 


记 为 span(al ,qs，…,a,)。 和 矩阵 A 的 列 向 量 张 成 的 线性 空间 简 记 为 span(4) 。 

零 向 量 和 零 矩 阵 分 别 用 0 和 0O 表示 ;nXn 的 单位 矩阵 记 为 1, ,在 不 至 于 混淆 维 数 情 
况 下 用 了 I 表示 ;用 e; 表示 单位 矩阵 的 第 i 列 , 也 称 为 第 i 个 标准 单位 向 量 。 

内 积 运算 用 “(,” 表 示 , 范 数 用 上。 | 表示 ,条 件数 用 cond(。) 表 示 , 不 同 种 类 的 范 
数 用 下 标 加 以 区 分 ,默认 情况 为 欧 氏 范 数 (2- 范 数 ) 。 

tj 表示 对 实数 x 下 取 整 得 到 的 整数 ,Ix| 表 示 对 实数 x 上 取 整 得 到 的 整数 。 

Re(2) 与 Im(2Z) 分 别 表示 复数 Z 的 实 部 与 虚 部 。 

f(x) 表示 实数 xz 对 应 的 机 器 数 ,flop 表示 某 种 浮 点 运算 。 


. 与 函数 .关系 有 关 的 符号 


CCX) 表 示 定 义 在 集合 X 上 的 所 有 连续 函数 ,如 CLa,bj] 表 示 区 间 [La,b] 上 的 所 有 连 
续 函数 。C"(X) 表 示 和 集合 关上 的 所 及 阶 导 数 连续 的 函数 ,C”(X) 表 示 集 合 X 上 
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的 所 有 任意 阶 导数 都 连续 的 函数 。 若 无 特殊 说 明 , 它 们 都 是 实 值 函数 。 

了 ,表示 次 数 不 高 于 次 的 所 有 实 多 项 式 的 集合 。 

自然 对 数 函数 用 ln 表示 ,其 底数 为 es*2.718, 一 般 的 对 数 函 数 用 log 表示 ,底数 通过 
下 标 显 示 。 在 不 造成 混淆 的 情况 下 ,用 lg 表示 以 10 We 


多 变量 函数 的 梯度 符号 为 ,如 wx(t,z) 的 梯度 必 一 [将 人 . 


用 衬 表 示 最 小 二 乘 近似 ,用 二 表示 “定义 为 ”或 “ 恒 等 于 ”。 

用 仿 表 示 等 价 关 系 , 即 符号 左右 两 边 的 命题 互 为 充分 必要 条 件 , 用 二 表示 由 左边 的 
命题 可 以 推出 右边 的 命题 ,而 用 < 表示 从 右边 的 命题 可 以 推出 左边 的 命题 。 

用 一 表示 趋 近 于 或 极限 为 。 


.算法 描述 中 的 符号 


用 := 表示 赋值 操作 ,用 三 表示 相等 关系 。 

循环 语句 有 For…End、While…do…End Repeat…Until…3 种 形式 。 

分 支 语句 有 If…then…Else…End 和 If…then… End 两 种 ,对 于 后 一 种 情况 ,也 可 简 
写 为 If…then… 的 一 行 语句 。 

一 对 “{”“}” 符 号 包含 的 内 容 为 算法 注释 。 


. 计算 复杂 度 与 O(，) 记 号 


数值 算法 的 时 间 复 杂 度 主要 用 其 中 包含 的 代数 运算 次 数 衡量 。 由 于 当前 的 计算 机 
中 加 法 和 乘法 的 CPU 耗 时 差不多 (很 多 CPU 可 用 单 指令 multiply-add 完成 一 对 乘 
法 和 加 法 运算 ) 。 因 此 ,评价 一 个 算法 的 时 间 复 杂 度 时 应 同时 考虑 乘法 与 加 法 的 运 
算 次 数 (一 般 除 法 次 数 少 得 多 ,而 减法 也 看 成 是 加 法 ) 。 
与 较 大 的 相关 的 O(，) 记 号 。 在 统计 运算 次 数 时 ,需要 用 大 O 记号 表示 函数 值 的 
阶 , 此 时 关心 的 是 代表 问题 的 规模 的 量 n 变 大 时 的 情形 。 如 果 存 在 正常 数 KK ,使 对 
较 大 的 都 有 

| | RK | an |; 
则 记 

fn) = O(g(n)) 。 

例如 ,了 f()==3 商 十 2 十 n 十 90= 二 O00), 若 一 个 算法 的 浮 点 运算 次 数 是 f(n), 则 它 
的 时 间 复 杂 度 为 OO ) 。 
与 较 小 的 h 相关 的 O(，) 记 号 。 在 估计 近似 值 的 准确 度 时 ,主要 关心 的 是 代表 步 长 
或 离散 间隔 的 量 h 变 小 时 的 情形 。 如 果 存 在 正常 数 ,使 对 较 小 的 h 都 有 

| f(h) |<K| gh)|, 


则 记 
f(D S00 ; 

例如 ,三 1 十 各 -十 如 十 如- 十 三 1 十 二 OC)。 因 为 了 值 的 变 小 ,如 之 后 的 项 

可 忽略 不 计 ,此 时 称 与 1 二 的 差 为 OG?) 小 量 。 值得 一 提 的 是 ,如 果 思 一 1/ 此 


时 O(。) 记 号 的 含义 与 上 面 的 情况 一 致 
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MATLAB( 和 矩阵 实验 室 ,Matrix Laboratory 的 简称 ) 是 一 款 著名 的 数学 软件 ,由 美国 
MathWorks 公司 出 品 。MATLAB 可 以 进行 矩阵 运算 、 绘 制 函数 和 数据 .实现 算法 、 创 建 用 
户 界面 .连接 其 他 编程 语言 的 程序 等 ,主要 应 用 于 工程 计算 .控制 设计 、 信 号 处 理 与 通信 、 图 
像 处 理 、 信 号 检测 .金融 建 模 设计 与 分 析 等 领域 。MATLAB 对 许多 专门 的 领域 都 开发 了 功 
RE zw 能 强大 的 模块 集 和 工具 箱 (toolbox) ,如 信号 处 理 、 

@ ”R20l0o | 图 像 处 理 、 系 统 辨 识 , 金 融 分 析 、 地 图 工具 、 电 力 系 
MATLAB 统 仿真 等 。 事实 上 ,MathWorks 公司 还 有 另 一 个 
i 重要 的 产品 Simulink, 它 原本 是 MATLAB 中 的 一 

部 分 ,目前 已 独立 出 来 ,成 为 实现 动态 系统 建 模 与 
仿真 功能 更 丰富 的 一 个 独立 软件 。 图 B-1 是 
MATLAB 软件 的 启动 画面 。 

除了 MATLAB, 还 有 其 他 著名 的 数学 软件 ， 
如 Wolfram Research 公司 的 Mathematica。 
Mathematica 的 特点 是 符号 计算 能 力 非 常 突出 ， 
便于 进行 解析 计算 和 公式 的 推导 。 相 比 这 些 数 
学 软件 ,MATLAB 在 数值 计算 ,尤其 是 矩阵 计 

图 B-1 MATLAB 软件 的 版 权 页 算 方 法 方面 性 能 优越 ,因此 ,了解 、 使 用 它 的 一 些 
功能 对 学 习 数 值 分 析 等 有 关 课 程 很 有 帮助 。 

MATLAB 是 跨 平台 的 软件 ,适用 于 Windows、UNIX/Linux 以 及 MAC 操作 系统 。 
MathWorks 公司 每 年 进行 两 次 产品 发 布 ,时 间 分 别 在 3 月 和 9 月 ,以 a 和 b 区 分 版 本 号 ,如 
2010a 和 2010b。 每 个 版 本 都 包含 32 位 和 64 位 两 种 格式 ,安装 时 会 根据 计算 机 的 情况 自动 
选择 。 本 附录 以 在 32 位 PC、Windows 7 环境 下 运行 的 MATLAB 2010a 为 例 介 绍 
MATLAB 的 基本 功能 。 


Version 7.10.0.499 (R20108) 
32-bk (win32) 

February 5, 2010 

Lcense Number: 161051 


B.1 用 户 界面 


MATLAB 软件 (可 执行 程序 为 matlab。exe) 启 动 后 ,用 户 界 面 如 图 B-2 所 示 , 其 中 包 
含 了 多 个 不 同 功 能 的 子 窗口 。 在 命令 窗口 中 输入 edit 命令 ,将 弹出 程序 编辑 窗口 ,可 在 其 中 
编写 程序 。 在 命令 窗口 中 按 人 键 会 出 现 以 往 输 入 过 的 命令 ,而 输入 命令 的 前 几 个 字符 后 再 
按 个 键 将 从 历史 命令 中 找到 匹配 的 命令 。 通 过 这 个 快捷 键 , 可 方便 地 调用 以 前 输入 过 的 命 
令 ,或 在 其 基础 上 进行 修改 。 在 主 程序 界面 中 ,通过 菜单 Help|Product Help 可 调 出 帮助 文 
档 , 其 中 包含 了 丰富 的 信息 。 程序 编辑 窗口 和 帮助 窗口 如 图 B-3 所 示 。 

MATLAB 的 命令 窗口 和 程序 编辑 窗口 中 的 字体 可 以 通过 菜单 项 File | Preferences | 
Fonts 设置 ,用 户 可 将 字体 调整 为 合适 的 大 小 。 另外 ,通过 菜单 项 File| Set Paths 可 设置 命 
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图 B-3 程序 编辑 窗口 ( 左 ) 和 帮助 窗口 ( 右 ) 


令 路 径 ,便于 MATLAB 自动 搜索 到 不 在 当前 目录 下 的 文件 和 程序 。 


B.2 基本 数据 格式 


默认 情况 下 ,MATLAB 采用 IEEE 双 精 度 浮 点 数 进行 数据 的 存储 与 计算 。MATLAB 
中 还 有 一 些 预 先 定义 的 保留 字 ,用 来 表示 常数 , 见 表 B-1。 

MATLAB 变量 名 是 以 字母 开头 ,由 字母 ,数字 和 下 画 线 组 成 的 字符 串 ,并且 字 母 区 别 
大 小 写 。 表 B-1 中 的 特殊 变量 也 可 以 当 作 一 般 的 变量 使 用 ,如 i 和 j。MATLAB 中 的 变量 
的 基本 数据 格式 是 矩阵 ,单个 变量 也 默认 为 是 单个 元 素 的 矩阵 ,并 且 不 需要 事先 定义 ,一 个 
变量 在 给 它 赋值 时 自动 定义 (但 运算 表达 式 中 不 允许 出 现 未 定义 的 变量 ) 。clear 命令 可 以 


清空 所 有 已 经 合法 定义 了 的 变量 。 
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表 B-1 MATLAB 中 预定 义 的 常数 


名 称 说 明 
pi 圆周 率 r 
Inf( 或 inf) 无 穷 大 
NaN( 或 nan) 不 定量 ,如 0/0 
realmax 最 大 的 正 浮 点 数 
realmin 最 小 的 正规 范 浮 点 数 
eps 机 器 精度 的 两 信 ,2. 2204e 一 16 
i( 或 )) 虚数 单位 ,定义 为 V 一 I 
ANS( 或 ans) 默认 变量 名 ,表示 最 近 一 次 有 效 操作 的 运算 结果 


数据 结果 的 显示 格式 由 format 命令 控制 ,用 法 见 表 B-2。 
表 B-2 控制 数据 显示 格式 的 命令 


命 令 显示 格式 
format 默认 值 ,数据 显示 格式 与 short 格式 相同 
format short 短 格式 , 仅 显 示 5 位 有 效 数字 
format long 长 格式 ,显示 15 位 有 效 数字 
format short e 对 任意 小 数 ,显示 仅 带 5 位 有 效 数字 和 3 位 指数 的 数据 
format long e 对 任意 小 数 ,显示 带 15 位 有 效 数 字 和 3 位 指数 的 数据 
format hex 以 十 六 进 制 显示 
format rat 以 有 理 数 显示 


B.3 基本 数学 函数 


MATLAB 支持 的 部 分 常用 数学 函数 见 表 B-3。 这 些 函 数 的 自 变 量 可 以 是 标量 ,也 可 以 
是 矩阵 (包括 向 量 )。 


表 B-3 常用 数学 函数 


函数 名 数学 运算 函数 名 数学 运算 
abs(z) 数 或 向 量 的 模 gcd(x»y) 整数 zx 和 > 的 最 大 公约 数 
angle(z) 复数 的 辐 角 (弧度 ) log(z) 以 e 为 底 的 对 数 

real(z) 复数 的 实 部 log2(z) 以 2 为 底 的 对 数 
round(z) 四 使 五 入 至 最 近 整 数 exp(CZ) e 的 工 次 宕 

floor(z) 不 超过 xz 的 最 大 整数 sin(zx) 正弦 函数 
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续 表 
函数 名 数学 运算 函数 名 数学 运算 
cos(z) 余 改 函数 lem(z,y) 整数 zx 和 > 的 最 小 公 售 数 
tan(z) 正切 函数 logl0(z) 以 10 为 底 的 对 数 
sinh(z) 双 曲 正弦 函数 pow2(Z) 2 的 工 次 过 
cosh(z) 双 曲 余弦 函数 sign(z) 符号 函数 
tanh(z) 双 曲 正切 函数 asin(z) 反正 弦 函 数 
sqrt(zx) 开 方 acos(Z) 反 余 弦 函 数 
conj(z) 复数 的 共 斩 atan(x) 反正 切 函 数 
imag(x) 复数 的 虚 部 asinh(z) 反 双 曲 正 弦 函 数 
fix(z) 会 去 小 数 部 分 至 最 近 整 数 acosh(z) 反 双 曲 余弦 函数 
cell(z) 不 小 于 z 的 最 小 整数 atanh(z) 反 双 曲 正切 函数 


B.4 算 阵 运算 


B.4.1 和 矩阵 的 输入 


生成 小 矩阵 的 常用 方法 是 直接 从 命令 窗口 输入 。 整 个 矩阵 以 中 为 首尾 ,和 矩阵 的 行 与 行 
之 间 用 分 号 (;) 或 者 回 车 相隔 ,每 行 中 的 元 素 用 逗号 (,) 或 者 空格 分 隔 (注意 ,不 要 输入 中 文 
标点 ,确保 输入 法 在 英文 状态 ) 。 例 如 ,在 命令 窗口 输入 


>>a=[8 1 6;3 5 7;4 9 2] 
命令 窗口 显示 的 结果 为 


a= 


WwW mo 
oar 
[> ~ oa 


如 果 在 上 述 命 令 后 加 上 “;”, 则 同样 生成 矩阵 ,但 并 不 在 命令 窗口 显示 结果 。 
另外 ,MATLAB 中 和 矩阵 的 数据 存储 顺序 是 列 优 先 的 。 例如 ,在 上 述 命令 之 后 再 输入 
>>a(4) 


命令 窗口 显示 的 结果 为 


ans= 


1 


较 大 规模 的 矩阵 可 以 使 用 load 命令 从 文件 串 读 入 。 例 如 ,在 当前 工作 空间 的 文件 夹 下 
创建 文本 文档 input. txt, 包 括 如 下 内 容 : 
六 
i 
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然后 在 命令 窗口 输入 
>>b=1load('input.txt'") 


命令 窗口 显示 的 结果 为 


类 似 地 ,Windows 下 的 MATLAB 也 可 以 从 Excel 数据 表格 中 读 取 数据 ,使 用 xlsread 
命令 ,如 在 命令 窗口 输入 


>>a=xlsread('test.xls') 


则 读 出 test. xls 文件 中 的 数据 表格 ,命令 窗口 显示 的 结果 为 


还 有 一 些 命令 可 生成 特殊 矩阵 ,具体 列 于 表 B-4 中 。 
表 B-4 生成 特殊 矩阵 的 命令 


命 令 功 能 
zeros(m,n) 生成 到 行列 全 零 矩 阵 
ones(m,n) 生成 到 行列 全 1 矩阵 
eye(myn) 生成 冯 行 2 列 对 角 线 元 素 ( 行 标 等 于 列 标 ) 为 1 的 矩阵 
rand(m,n) 生成 mm 行 n 列 随机 和 矩阵 
diag(xyd) 生成 一 个 以 向 量 z 的 元 素 为 距 主 对 角 线 距离 d 的 对 角 线 元 素 的 矩阵 
( 主 对 角 线 以 上 d>>0: 反 之 d<0) 


注意 ; diag 命令 也 可 以 反 过 来 使 用 , 即 如 果 下 面 的 命令 中 A 是 矩阵 

>>zx=diag (A,d) 

那么 结果 是 将 和 矩阵 A 距 主 对 角 线 距离 d 的 对 角 线 的 元 素 存储 在 向 量 x 中 ,这 里 的 x 默 
认 是 列 向 量 。 

向 量 (数组 ) 是 一 种 特殊 的 矩阵 ,可 以 用 输入 矩阵 的 方式 建立 。 常 用 的 是 数值 为 等 差 数 
列 的 数组 , 它 方便 地 通过 “:? 创 建 , 例 如 : 

3 
其 中 两 个 :" 之 间 的 是 等 差 间隔 ( 若 省 略 它 , 表 示 间 隔 为 1) 。 执 行 该 命令 后 ,命令 窗口 显示 
的 结果 为 (得 到 一 个 行 向 量 ) 
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又 一 


有 
B.4.2 和 矩阵 的 代数 运算 
矩阵 的 加 、 减 、 乘 等 运算 与 标量 的 没什么 区 别 。 表 B-5 列 出 了 一 些 常 见 的 矩阵 运算 。 
表 B-5 常见 的 矩阵 运算 


命 令 功 能 命 令 功 能 
[m,n]=size(A) m 为 行 数 ,n 为 列 数 rank(A) 和 矩阵 的 秩 
det(A) 方 阵 的 行列 式 eig(A) 求 出 矩阵 A 的 所 有 特征 值 
inv(A) 矩阵 的 道 cond(A) 矩阵 的 条 件数 
A' 和 矩 阵 的 共 思 转 置 A 元 素 转 置 不 求 共 罗 


关于 稀疏 和 矩阵 和 线性 方程 组 求解 ,以 及 相关 函数 的 使 用 ,参见 本 书 第 3 章 有 关内 容 。 下 
面 介绍 通过 ":” 符 号 取 和 矩阵 的 部 分 元 素 的 功能 。 例 如 ,命令 


>>B=A (m:n,p:q) 


得 到 的 结果 将 是 A 的 第 mm 行 到 第 行 ,第 p 列 到 第 g 列 的 子 和 矩阵 。 而 A(: ,nr) 和 ACm,:) 分 
别 表示 和 矩阵 A 的 第 n 列 和 第 mm 行 向 量 。 例 如 ,对 于 前 面 定义 的 矩阵 a, 输入 


>>b=a (2,:) 


得 到 的 结果 为 


除 这 些 基本 的 运算 , 表 B-6 列 出 了 一 些 较 复杂 的 矩阵 算法 的 命令 。 
表 B-6 ， 较 复杂 的 矩阵 算法 的 命令 


命 令 功 能 
[V,J]=jordan(A) J 是 A 的 约 当 标 准 型 ,V 是 相似 变换 矩阵 ,A 一 V*J* inv(V) ,默认 复数 域 
[L,U,P]=lu(CA) 求 和 矩阵 A 的 LU 分解,Px A=LxU 
R=chol(A) Cholesky 分 解 ,A 一 R'* R,R 为 上 三 角 和 矩阵 
[Q,R]=qr(A) QR 分解 ,A 二 Qx RR 
[V,D]=eig(A) 特征 值 分 解 ,D 对 角 线 元 素 为 A 的 特征 值 ,A*V 一 Vx*D 
[U,S,V]=svd(A) 奇异 值 分 解 ,A 一 Ux* Sx*V' 


B.4.3 逐 项 运算 符 


MATLAB 中 有 一 个 特殊 的 逐 项 运算 符 (. ) , 它 的 功能 通过 表 B-7 说 明 , 其 中 入 和 B 是 
维 数 相同 的 矩阵 或 向 量 。 
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表 B-7 逐 项 运算 符 


命 令 说 明 

P=A.*B 得 到 与 A 维 数 相 同 的 矩阵 P,P(i,j) 二 A(i,j) * B(i,j) 
Q=A.^B 得 到 与 A 维 数 相 同 的 矩阵 Q,Q(i,j) 一 A(i,j)-B(i,j) 
R=A./B 得 到 与 A 维 数 相同 的 矩阵 R,R(i,j) 二 A(i,j)/B(i,j) 
SANB 得 到 与 A 维 数 相同 的 和 矩阵 S,S(i,j) 二 BGi,j)/A(i,j) 


值得 一 提 的 是 ,线性 代数 中 还 有 一 些 方 阵 函 数 , 如 指数 函数 


A 1 4 
e' 王 之 I 4 ， 


在 MATLAB 中 ,它们 对 应 expm、logm、sqrtm 等 命令 ,其 名 字 是 对 应 的 标量 函数 后 面 加 上 
m。 例 如 ,输入 


>>A= [1,0;0,1]; 


则 


>>expm (A) 
ans= 
.7483 
0 2.7193 
而 输入 
>>exp (A) 


的 结果 为 (注意 这 个 命令 的 不 同 含义 ) 


ans= 
2.7183 1.0000 
1.0000 2.7183 


B.4.4 向 量 的 函数 


向 量 是 特殊 的 矩阵 。 表 B-8 列 出 了 一 些 常用 于 向 量 的 函数 。 
表 B-8 常用 于 向 量 的 函数 


命 令 功 能 命 令 功 能 
min(x) 向 量 < 元 素 的 最 小 值 sort(x) 对 向 量 z 的 元 素 升 序 排序 
max(x) 向 量 x 元素 的 最 大 值 norm(x) 向 量 z 的 模 

mean(x) 向 量 工 元 素 的 平均 值 sum(x) 向 量 z 的 元 素 总 和 
median(x) 向 量 xz 元 素 的 中 位 数 prod(x) 向 量 z 的 元 素 总 乘积 
std(x) 向 量 工 元 素 的 标准 差 diff(x) 向 量 x 相 邻 元 素 的 差 
dot(x,y) 向 量 z 和 > 的 内 积 crossCxyy) 向 量 z 和 y 的 外 积 
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B.5 其 他 常用 的 数学 计算 


B.5.1 逻辑 运算 
在 MATLAB 中 ,任何 数值 都 可 以 参与 逻辑 运算 ,并 且 在 逻辑 运算 中 ,把 所 有 非 零 值 看 
作 人 逻辑 真 , 零 值 看 作 人 逻辑 假 。 一 般 的 数值 可 以 用 logic 命令 转换 为 逻辑 变量 。 常用 的 逻辑 运 
算 符 和 关系 运算 符 列 于 表 B-9 中 。 
表 B-9 常用 的 逻辑 运算 符 和 关系 运算 符 


逻辑 运算 符 功 能 关系 运算 符 功 能 
& 逻辑 与 运算 == 等 于 
| 逻辑 或 运算 ~ 二 不 等 于 
二 逻辑 非 运算 区 二 小 于 、 小 于 或 等 于 
xor 逻辑 异 或 运算 >,>= 大 于 、 大 于 或 等 于 
B.5.2 多 项 式 


在 MATLAB 中 ,可 用 行 向 量 表示 多 项 式 , 其 元 素 为 按照 降 宪 排列 的 多 项 式 系数 。 
例如 : 
plz)= x —z+t+l 
在 MATLAB 中 可 表示 为 


p= [1,0,-1,1] 
MATLAB 中 的 roots 命令 用 于 求 多 项 式 的 零点 ,其 输入 就 是 上 面 表示 的 多 项 式 。 
>>roots (p) 

结果 为 


ans= 
-1.3247 
0.6624+0.5623i 
0.6624-0.5623i 
一 个 相关 的 命令 是 poly, 它 的 输入 是 多 项 式 零 点 组 成 的 向 量 , 而 输出 是 多 项 式 对 应 的 
向 量 ,如果 输入 是 一 个 矩阵 , 则 得 到 矩阵 的 特征 多 项 式 。 另 一 个 相关 的 命令 是 polyval, 它 
的 输入 是 多 项 式 对 应 的 向 量 和 自 变量 x 的 值 , 输 出 是 将 这 个 x 代入 多 项 式 计算 的 结果 。 


B.5.3 函数 极 值 和 最 值 


在 实际 应 用 中 经 常会 遇 到 求 函 数 极 小 值 的 情况 ,常用 的 命令 是 fminuc。 有 两 种 使 用 
方式 : 


fminunc (f,x1, x2) 
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功能 是 求 函数 了 在 zl 和 zx2 之 间 的 最 小 值 。 
还 有 一 种 是 : 
fminunc (f,x0) 


功能 是 求 函数 从 初始 解 zx0 出 发 的 最 小 值 。 这 个 命令 中 的 函数 可 以 是 下 面 要 讲 到 的 自 定 
义 函数 。MATLAB 没有 求 最 大 值 的 函数 , 求 最 大 值 时 ,转换 为 求 这 个 函数 相反 数 的 最 小 值 。 


B.6 程序 设计 


MATLAB 中 的 程序 都 保存 为 扩展 名 为 . m 的 文件 , 称 为 M 文件 。M 文件 有 脚本 文件 
和 函数 文件 两 种 。 脚 本 文件 是 简单 执行 一 系列 的 MATLAB 语句 ,按照 文件 中 指定 的 顺序 
执行 命令 序列 。 函 数 文件 中 有 函数 定义 语句 一 一 function, 用 户 可 以 用 自己 编写 的 函数 扩充 
函数 库 。 在 编程 语句 中 ,字符 % 之 后 的 内 容 是 注释 语句 。 


B.6.1 结构 控制 语句 


1. 选择 结构 
选择 结构 常 使 用 让 语句 ,例如 : 


if rem (a,2)==0 $ 判 断 a 是 否 是 偶数 ,其 中 rem 为 取 余数 的 函数 


a=a/2; 


end 
这 可 以 和 else 一 起 使 用 ,成 为 if…else…end 语句 ,例如 : 


if a>b 
y=a; 
else 
y=b; 
end 
另 一 种 选择 结构 使 用 if…elseif*…elseif…else…end 语句 , 稍 有 不 同 。 当 然 ,选择 语句 可 
嵌 套 使 用 ,但 应 注意 关键 字 end 的 匹配 。 
和 C 语言 类 似 ,MATLAB 也 实现 了 多 路 分 支 选 择 的 结构 , 即 switch 语句 。 下 面 是 一 
个 例子 : 


switch var s 对 var 分 情况 讨论 
casel 
y=a; 
case2 
y=b; 
case 3 
y=c; 
otherwise 


y=0; 


让 涡 
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2. 循环 结构 
最 基础 的 循环 是 while 循环 ,例如 : 


while i<n 
i=i+l1; 
end 


也 有 for 循环 ,例如 : 


for i=1:n 
sum=sum+1/i; 


end 


对 于 while 循环 和 for 循环 ,都 可 以 使 用 continue 语句 ,含义 是 结束 本 次 循环 , 跳 过 循环 
体 中 下 面 未 执行 的 语句 ,直接 进入 下 一 次 循环 。 

MATLAB 中 虽然 有 循环 结构 ,但 是 实际 编程 中 要 尽 可 能 利用 MATLAB 高 效 的 矩阵 
运算 ,减少 不 必要 的 循环 。 

例如 ,表达 式 


PL; — wu)? + Cy;— vi)’] 
i=l1 
涉及 向 量 x.u、y、v。 用 前 面 的 逐 项 运算 符 , 它 对 应 的 命令 为 
二 


又 如 ,u 是 列 向 量 ,u x ones(1,n) 就 得 到 一 个 有 交 列 的 矩阵 ,矩阵 的 每 一 列 都 是 w。 类 似 
地 ,onesCm,1) * v 把 行 向 量 v 扩展 成 一 个 有 交行 的 矩阵 。 

再 举 一 个 例子 ,说 明 利 用 Kronecker 张 量 积 命令 kron 简化 计算 。kron(A,B) 就 是 把 B 
放 到 A 的 每 个 元 素 处 ,如 X 是 一 个 2X3 的 矩阵 ,那么 kron(X,Y) 表 示 


[XO (lr2 YY XL Bs 
X(2,1) x*Y X(2,2) *Y X(2,3)*Y] 


利用 这 个 可 以 简化 很 多 操作 ,如 (x,y 为 两 个 列 向 量 ) : 


P=zeros (121,2); 
for i=0:10 
for j=1:11 
P(11x*i+j,1)=x (i+1); 
P(11x*i+j,2)=y(j); 
end 


end 


这 里 有 两 重 循环 ,如 果 用 Kronecker 积 写 , 就 是 


P(:,1)=kron (x, ones (11,1)); 
P(:,2)=kron (ones (11,1),y); 


这 样 就 省 去 了 循环 。 
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B.6.2 字符 串 


1. 字符 串 的 基本 操作 
和 其 他 高 级 程序 设计 语言 一 样 ,MATLAB 中 也 有 字符 和 字符 串 。 字 符 串 的 命名 和 变量 
相同 。 建 立 字符 串 命 令 的 一 个 例子 是 : 


>>a='abc" 
a= 


a 
注意 ,空格 是 一 个 字符 ,而 且 字符 串 中 的 空格 是 算 字符 串 长 度 的 ,如 对 于 上 例 : 


>>length (a) 
ans= 
5 


可 以 用 方 括号 把 多 个 字符 串 合 并 ,可 以 合并 成 单行 或 者 多 行 字符 串 ( 多 行 字符 串 为 字符 
型 矩阵 ) 。 例 如 : 


>>a="abc'7 
>>b='cde'7 
>>c= [a b] 
c= 
abcecde 
下 面 是 合并 成 为 多 行 字符 串 的 例子 (此 时 要 求 两 个 字符 串 的 长 度 必 须 相 同 ): 
>>a='abc'; 
>>b="'de f'; 
>>c= [a; b] 
c= 

abc 

def 


2. 字符 串 的 操作 函数 
常用 的 字符 串 操 作 函 数 见 表 B-10, 实 际 上 和 C/C++ 语言 非常 类 似 。 
表 B-10 常用 的 字符 串 操 作 函 数 


命 令 功能 

strcmp(a'b) 比较 a 和 2 是 否 相同 , 若 相同 , 则 返回 逻辑 * 真 ”, 和 否则 返回 逻辑 “ 假 ” 
strnemp(a,b,n) 比较 a 和 2 的 前 个 字符 是 否 相同 

strcat(a,b) 合并 a 和 6b( 合 并 成 为 新 的 字符 串 ,并 不 像 C 语 言 中 连接 到 a 后 面 ) 
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B.6.3 人 机 交互 和 输入 输出 
1. 命令 窗口 函数 
常用 的 命令 窗口 输出 函数 是 disp 函数 。 使 用 disp 函数 的 例子 如 下 


disp (x); 在 命令 窗口 显示 x 的 值 
disp('Hello World!'); 在 命令 窗口 显示 “Hello World!” 


disp 命令 也 可 以 同时 显示 字符 和 数字 。 注 意 ,要 把 数字 转换 为 字符 显示 ,例如 : 


Ee 
disp(['The value of x is ',num2str (x)]); 


其 中 ,num2str(x) 的 功能 是 把 x 转换 为 字符 ,输出 结果 是 

The value of x is 1.5 

input 命令 可 以 用 来 提示 用 户 从 键盘 输入 数据 ,利用 input 命令 输入 数据 的 例子 如 下 : 
x=input ('input data x:"'); 

这 个 代码 运行 的 结果 是 命令 窗口 显示 

input data x: 


提示 用 户 输入 数据 x。 

2. 文件 操作 函数 

除 前 面 讲 到 的 load 函数 外 ,MATLAB 还 有 类 似 C 语言 的 文件 输入 函数 fscanf 和 文件 
输出 函数 fprintf。 使 用 时 先 用 fopen 函数 打开 文件 ,然后 用 fclose 函数 关闭 文件 。 这 些 函 数 
如 何 使 用 ,可 结合 下 面 的 例子 具体 说 明 。 

fpl=fopen('input1l.txt','r'); sg 指 向 文件 input1.txt, 以 "Fr 只 读 方 式 打开 

fp2=fopen('outputl.txt', 'w'); sg 指向 文件 output1l.txt, 以 'w' 只 写 方式 打开 


x=Fscanf (fpl,"%E"); gs 利 用 fpl 从 input1.txt 读 人 数据 到 x 
fprintf (fp2, '%9.8f',x); s 利 用 fp2 输出 数据 到 output1.txt 
fclose (fp1); 关闭 文件 input1 .txt 

fclose (fp2); 关闭 文件 output1 .txt 


输入 函数 fscanf 括号 中 的 引号 中 的 代表 数据 是 实数 。 

输出 函数 fprintf 括号 中 的 引号 中 的 符号 代表 了 输出 格式 ,有 多 种 形式 ,下 面 是 两 个 例子 。 
(1) %p. qf: 小 数 形式 输出 ,总 字 长 p 位 ,其 中 小 数 点 后 gq 位 。 

(2) %p. qe: 指数 形式 输出 ,总 字 长 p 位 ,其 中 指数 部 分 q 位 。 

MATLAB 也 支持 Excel 等 格式 文件 的 数据 读 写 , 详 见 帮 助 文档 。 


B.6.4 用 户 自 定义 函数 


用 户 可 以 将 自 定义 函数 写成 函数 式 的 M 文件 ,第 一 行 以 function 关键 词 开始 ,说 明 此 
文件 是 一 个 函数 。 默认 情况 下 ,函数 式 M 文件 中 的 变量 都 是 局 部 变量 , 仅 在 函数 运行 期 间 
有 效 ,函数 运行 结束 ,这 些 变 量 将 从 工作 空间 中 清除 。 下 面 是 一 个 简单 的 自 定义 函数 的 

。335。 


数值 分 析 与 算法 (第 3 版 ) 


例子 : 


function f=myfun (x) 
f=2¥ x+512/x; 


用 户 在 命令 窗口 输入 
>>fminunc (@myfun,1) 
结果 为 


ans= 
15.9991 


除了 写成 M 文 件 ,还 可 以 用 匿名 函数 的 方式 定义 函数 。 例 如 ,上 面 的 函数 可 以 这 样 定 义 : 
myfun 一 @(x) 2* x 十 512/x; 再 使 用 它 时 不 需要 加 @ 符 号 。 例 如 : fminunc(myfun, 1)。 

和 C/C++ 等 高 级 语言 一 样 ,MATLAB 中 也 有 结构 体 类 型 数据 ,可 以 实现 更 复杂 的 数 
据 结构 。 不仅 如 此 , MATLAB 中 还 有 类 似 C/C++ 中 指针 的 机 制 ,用 以 传递 数据 ,有 类 和 对 
象 ,可 以 进行 面向 对 象 的 程序 设计 (OOP) ,可 以 进行 MATLAB 和 C++ 的 混合 编程 ,还 可 以 
开发 图 形 界面 的 程序 (GUI) , 感 兴趣 的 读者 可 以 参考 进一步 的 资料 。 


B.7 符号 计算 


MATLAB 也 具有 相当 不 错 的 符号 计算 能 力 , 这 里 仅 作 简 要 介绍 。 符 号 计算 最 常用 的 两 
个 命令 是 sym 和 syms。 

sym 常用 的 是 两 种 功能 。 

(1) S 二 sym(A), 把 表达 式 A 转换 为 符号 对 象 S。 

(2) x 一 sym(x) ,以 x 为 名 创建 符号 变量 ,并 将 结果 存储 到 x。 

下 面 是 一 个 用 sym 函数 定义 符号 表达 式 的 例子 。 


>>a=sym('a'); 
>>b=sym('b'); 
>>c=sym('c'); 
>>x=sym('x'); 

>>f=ax* x^2+b x x+c 

天 王 

ax xX ^2+bx* Xx+Cc 
>>h=sym('a* x^2+b x x+Cc"') 
h= 


ax xX ^2+bDx x+C 
MATLAB 还 可 以 用 syms 函数 创建 符号 对 象 ,调用 语法 如 下 : 
syms argl arg2; $$ 等同 于 argl=sym('arg1'); arg2=sym('arg2'); 


符号 多 项 式 运算 的 常用 命令 见 表 B-11。 
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表 B-11 符号 多 项 式 运算 的 常用 命令 
命 令 功 能 命 令 功 能 


collect( 表 达 式 ,Vv)| 指定 v 为 独立 变量 ,合并 同类 项 | factor( 表 达 式 ) | 将 表达 式 进行 因 式 分 解 


expand( 表 达 式 ) | 将 表达 式 展开 为 多 项 式 simply( 表 达 式 ) | 将 表达 式 简化 


符号 运算 求解 方程 和 方程 组 的 函数 是 solve, 使 用 格式 如 下 : 


solve('f') 包 解 方程 
owe ER En RL 名 对 指定 的 自 变量 x1,…, zxn 解 方程 组 f1,… ,fn 


下 面 通过 两 个 例子 简单 说 明 。 输 入 : 
>>syms abcx 


>>S=a* x^2+b x x+c; 


>>solve(S,'x') 
结果 是 
ans= 
=/2% (b= (b^2=4*a*c) “(L172)) /a 
-1/2* (b+ (b^2-4*ax*c)^(1/2))/a 
正好 是 求 根 公 式 。 
输入 : 
>>syms UV a 
>>S=Ssolve ('U^2-V^2=a^2'，u+V=1'， 'u','V') 
结果 是 
= 
u: [1xl sym] 
V: [lxl sym] 


车 需要 具体 查看 ,输入 
>>S.U 


读者 从 这 里 可 以 看 出 ,S 其 实 是 一 个 “结构 体 ”, 结 果 是 


ans= 


1/2+1/2* a^2 


B.8 绘图 功能 


MATLAB 具有 强大 的 图 形 编辑 功能 ,拥有 大 量 灵活 、 易 用 的 二 维和 三 维 图 形 命令 ,这 
里 介绍 最 基本 的 应 用 。 


有 
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B.8.1 二 维 图 形 

对 于 离散 实 函 数 yj; 二 f(zi) (i 二 1,2,…,n), 对 于 自 变量 组 成 的 向 量 , 求 出 对 应 函数 值 的 
向 量 , 将 对 应 的 点 列 在 直角 坐标 系 中 画 出 ,就 实现 了 离散 函数 的 可 视 化 。 对 于 连续 的 函数 ， 
也 是 先 计算 出 在 一 组 离散 自 变 量 上 的 函数 值 ,并 把 这 些 点 列 在 图 中 表示 ,为 表现 出 函数 的 连 
续 性 ,可 对 区 间 做 出 很 细 的 分 割 。 

plot 是 最 基本 的 绘图 命令 。 例 如 ,输入 : 


>>t=-1:0.05:1; 
>>Y=2xt.^2-17 
>>plot(tyy: "b') 


则 显示 出 图 形 窗口 ,如 图 B-4 所 示 。 
这 里 使 用 了 “. ”操作 符 ,表示 对 向 量 的 各 个 元 素 逐 个 进行 计算 ,这 是 绘图 中 常用 到 的 操 
作 符 之 一 ; 单 引 号 中 的 b 代表 blue, 表 示 用 蓝 色 绘制 曲线 。plot 命令 还 有 多 种 使 用 格式 , 详 


见 表 B-12。 
表 B-12 ”plot 命令 的 使 用 格式 
i -一 命 令 功 能 
口 日 日 惫 RR 所 人 DRA' G 0 on 
. ey 以 z 为 横 坐 标 ,y 为 纵 坐标 ,按照 
本 人 坐标 (z; ,yw ) 的 有 序 排列 绘制 曲线 
于 / ode 以 i 为 横 坐 标 ,y; 为 纵 坐标 ,按照 
司 / Wp 坐标 (i,y;) 的 有 序 排列 绘制 曲线 
/ 
本 / ee 以 横 轴 为 实 轴 , 纵 轴 为 虚 轴 , 在 复 
加 \\ 7 平面 上 绘制 复数 序列 = 
了 LOL vv | 功能 基本 同 plot(z,y) ,但 按 * 指 
rt 人 定 的 样式 绘制 曲线 
plot(x,yl,'s1',， | 将 多 条 曲线 面 在 同一 个 坐标 系 


图 B-4 抛物 线 > 一 2 一 1 在 [一 1,1] 上 的 图 像 


Xyy2,s2…) 


中 ,分别 绘 成 s1,s2,… 的 颜色 


表 B-12 中 的 s、sl、s2 等 样式 字符 串 可 以 是 颜色 和 线 型 标识 符 的 组 合 ,具体 的 这 两 类 标 


识 符 列 于 表 B-13 中 。 


表 B-13 ”plot 命令 中 的 颜色 、 线 型 设置 参数 


线 型 功能 线 型 功能 颜色 功能 颜色 功能 
一 实 线 o 小 圆圈 攻 红色 k 黑色 
> 虚线 x 星 号 b 蓝 色 w 白色 
点 线 x 叉 号 g 绿色 m 品 红色 
= 点 画 线 十 加 号 y 黄色 c 青色 


MATLAB 中 可 以 对 图 形 和 坐标 进行 操作 和 修改 。 对 绘图 区 的 一 些 属性 修改 的 命令 见 
表 B-14。 
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表 B-14 


命 令 


对 绘图 区 的 一 些 属性 修改 的 命令 
功 能 


subplot(m,n,k) 


在 一 个 窗口 中 绘制 mXn 个 图 形 , 其 后 plot 的 图 位 于 位 置 k 


title('s) 在 图 形 上 方 显示 标题 s 
xlabel(Cs) 用 s 标 记 工 轴 
ylabel(Cs) 用 s 标 记 > 轴 


textCxyyys) 


将 s 显 示 在 (z,y) 决 定 的 位 置 上 


gtext('s') 将 s 显 示 在 鼠标 确定 的 位 置 上 

hold on 保留 现 有 图 形 , 随 后 的 图 形 闭 在 此 图 上 
hold off 解除 hold on, 随 后 的 图 形 覆 盖 现 有 图 形 
grid on 显示 坐标 网 格 

axis auto 坐标 使 用 默认 设置 

axis(xmin, xmax, ymin, ymax) 设 定 zx 和 > 坐标 的 刻度 显示 范围 

axis equal 横 纵 坐标 采用 等 长 刻度 


下 面 看 一 个 综合 性 的 例子 。 由 于 命令 较 多 ,这 里 写成 脚本 式 的 m 文件 , 写 好 后 ,在 命令 


X=-1:0.05:17 

七 0=1 .0+0 关 共 7 

tl=x; 

t2=2* x.*t1-t0; 

和 32 
title('Chebyshev Poly'); 
xlabel ('x');ylabel ('y'); 
hold on; 

plot (x,t0) ;gtext ('T0'); 
plot (x,t1);gtext ('T1'); 
plot (x,t2) ;gtext ('T2°'); 
plot (x,t3) ;gtext ('T3°'); 


窗口 运行 。 设 文件 名 为 Che. m, 内 容 如 下 : 


在 命令 窗口 输入 Che, 输 出 图 形 如 图 B-5(a) 所 示 。 
如 果 程 序 改写 成 subplot 的 形式 , 即 


X==1:0.05s1s 
tO0=1.0+0*Xx; 

中 

t2=2¥* x.*t1-t0; 
起 3= 人 2 并 汪 < 关 七 2 一 七 1 


subplot (2,2,1) ;plot (xX,t0) ;title('Chebyshev T0') ;xlabel ('x');ylabel ('y'); 
subplot (2,2,2) ;plot (x,t1);title('Chebyshev T1');xlabel ('x');ylabel ('y'); 
subplot (2,2,3) ;plot (x,t2) ;title('Chebyshev T2');xlabel ('x');ylabel ('y'); 
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subplot (2,2,4) ;plot (x,t3) ;title('Chebyshev T3');xlabel ('x');ylabel ('y'); 


i Ven ime took Docep Wedow velp 
剖 轴 总 | kh 入 太 帮 DRK-G 0 aD ETTW 人 ETSITHI 呈 |D 固 | m 吕 


Er 


(a) 在 同一 坐标 系 (b) 在 不 同 坐标 系 
图 B-5 0 一 3 次 第 一 类 切 比 雪夫 多 项 式 在 区 间 [ 一 1,1] 上 的 曲线 


l 
| 
| 
| 
| 
| 
| 
| 


ER 一 输出 的 图 形 如 图 B-5(b) 所 示 。 
| RR fplot 命令 可 以 方便 地 绘 出 自 定义 函数 的 图 形 。 
下 面 看 一 个 简单 的 例子 ,输入 
>>fplot ('sin (x.~^2)', [0,10]) 
得 到 函数 f(x) 二 sin(x?) 在 区 间 [0,10] 上 的 图 像 , 如 
B-6 所 示 。 
: | 和 plot 命令 的 区 别 是 ,fplot 并 不 需要 给 出 取 值 
点 的 选取 ,实际 上 , 它 是 根据 函数 值 自 适应 地 选取 取 
一 yse 宏 se 什 点 的 。 
B-6 函数 f(z) 一 sin(z2) 在 plot 命令 使 用 的 是 笛 卡 儿 坐 标 系 。MATLAB 中 
区 间 [0,10] 上 的 图 像 也 可 以 绘制 其 他 坐标 系 的 图 形 , 如 极 坐标 、 半 对 数 坐 标 、 
双 对 数 坐标 。 针对 不 同 坐 标 系 的 绘图 命令 见 表 B-15。 
表 B-15 针对 不 同 坐 标 系 的 绘图 命令 
命 令 功 能 
polar(x,r) 在 极 坐标 中 绘图 ,z 代表 极 角 ,单位 弧度 ,~ 代表 极 径 
semilogx(x,y) | 在 半 对 数 坐 标 系 中 绘图 .z 轴 用 以 10 为 底 的 对 数 刻度 标定 ,类似 于 plot(logyo (x) ,y) 


semilogy(x,y) | 在 半 对 数 坐 标 系 中 绘图 ,y 轴 用 以 10 为 底 的 对 数 刻度 标定 ,类 似 于 plot(x,logo (y)) 


loglog(x,y) 工 轴 、y 轴 均 用 以 10 为 底 的 对 数 刻度 标定 ,类似 于 plot(logio (x) ,logio (y)) 


下 面 看 一 个 例子 , 它 以 极 坐标 绘制 函数 
rr 二 es 一 2cos4t 二 (sin eh E 
输入 : 
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>>t=linspace (0,22* pi,1100); 
>>r=exp(cos(t))-2x*cos(4*t)+ (sin(t./12)).^5; 
>>p=polar (t,r) 


图 形 如 图 B-7(a) 所 示 。 其 中 ,linspace(xl,x2.N) 的 功能 是 在 xl 和 x2 之 间 均 匀 地 产生 
NN 个 取 值 点 。 在 上 述 命令 之 后 输入 : 


>> [X,Y]=pol2cart (ty,r); s 算 出 对 应 的 笛 卡 儿 坐 标 
>>plot (x, y) s 在 笛 卡 儿 坐 标 系 中 绘图 


得 到 笛 卡 儿 坐标 系 中 的 图 形 如 图 B-7(b) 所 示 。 
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(a) 示例 图 形 1 (b) 示例 图 形 2 
图 B-7 以 极 坐 标 绘制 函数 图 像 示 例 
B. 8.2 三 维 图 形 


1. 曲线 的 绘制 
三 维 空间 里 的 曲线 绘制 通过 plot3 命令 实现 ,命令 格式 和 对 应 功能 见 表 B-16。 


表 B-16 三 维 空间 里 的 曲线 绘制 


命 令 功 能 
plot3(x,y,z) 按照 坐标 (zx; ,yw ,zi) 的 有 序 排列 绘制 曲线 
plot3(xyy,z,s) 功能 基本 同上 ,把 曲线 绘制 成 s 指定 的 样式 
plot3(xl,yl,zl,sl',x2,y2,z2,2…) | 在 同一 坐标 系 内 ,用 sl 的 样式 绘制 曲线 1, 用 s2 的 样式 绘制 曲线 2 


这 里 ,3 个 坐标 的 数组 x、y 和 z 必须 有 相同 的 元 素 个 数 ,s、sl、s2 可 以 按照 表 B-13 选 
择 。 下 面 看 一 个 三 维 空间 的 曲线 的 例子 。 输 入 : 


>>t=0:pi/100:5x*Pi7 
>>plot3(3* sin(t),2* cos(t),t) 


图 形 如 图 B-8 所 示 , 这 是 一 个 椭圆 螺旋 线 。 
2. 曲面 的 绘制 


MATLAB 可 以 在 三 维 坐标 中 绘制 曲面 。MATLAB 中 通过 和 矩形 网 格 组 合 描 绘 曲 面 . 即 
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将 (z,y) 定 义 的 区 域 划分 为 多 个 矩形 区 域 , 然 后 计 [sr 
算 在 这 些 矩 形 区 域 的 顶点 处 的 = 值 ,显示 时 ,把 邻接 | 3 全 全 < 汪汪 全 人 村 | 
的 顶点 互相 连接 起 来 ,组 合 出 曲面 。 组 合 这 些 网 格 | 


显示 整个 曲面 的 时 候 , MATLAB 可 以 采用 两 种 方 
式 : 一 种 是 只 用 线条 将 各 个 临近 顶点 连接 .网 格 区 域 
内 部 显示 为 空白 ,通过 网 格 边框 显示 整个 曲面 ,这 种 
曲面 图 称 为 网 线 图 ; 另 一 种 不 但 显示 网 格 线 边框 ,而 
且 将 其 内 部 填充 着 色 ,从 而 通过 一 个 个 矩形 平面 组 
合 显示 整个 曲面 ,这 种 曲面 图 称 为 表面 图 。 

在 MATLAB 中 绘制 三 维 曲 面 图 , 先 使 用 
meshgrid 函数 在 (z,y) 的 矩形 区 域 上 创建 网 格 , 调 
用 格式 如 下 : 


图 B-8 椭圆 螺旋 线 


[X,Y]=meshgrid(x,y), 
其 中 ,x 和 y 为 一 维 数组 ,通过 数据 重复 在 x 和 y 的 每 个 交叉 点 上 创建 网 格 点 。 当 x 是 长 度 
为 m 的 一 维 数组 ,y 是 长 度 为 n 的 一 维 数组 时 ,X 和 YY 就 是 一 个 mXn 的 二 维 数 组 ,每 一 个 
对 应 的 (X,Y) 就 是 一 个 网 格 点 。 
绘制 网 格 图 的 命令 是 mesh(z) ,表面 图 的 命令 是 surf(z)。 在 命令 窗口 输入 : 


>>x=-15:0.5:15; 

Dy==-15:0.5:15 

>> [X,Y]=meshgrid (x,y); 

>>r=sqrt (X.^2+Y.^2)+eps; gs 为 什么 要 加 上 eps, 原因 请 读者 思考 
>>z=sin(r)./r; 

>>mesh (z) 


可 以 看 出 ,这 里 生成 的 z 其 实 是 一 个 和 网 格 结 点 矩阵 维 数 相同 的 矩阵 ,得 到 的 图 形 如 图 
B-9(a) 所 示 ,如 果 把 mesh(z) 换 成 surf(z) ,得 到 的 图 形 如 图 B-9(b) 所 示 。 
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(a) 图 形 1 (b) 图 形 2 
图 B-9 三 维 曲 面 绘 图 示例 


还 有 一 个 命令 contour(z) ,可 绘 出 矩阵 z 的 等 高 线 ,如 图 B-10 所 示 。 
限于 篇 幅 , 这 里 只 介绍 了 MATLAB 最 基本 、 最 常用 的 功能 ,用 户 使 用 时 最 好 养 成 使 用 
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help 命令 .doc 命令 的 习惯 。 

doc 命令 将 打开 帮助 窗口 ,显示 相关 的 帮助 文 
档 , 内 容 更 全 面 、 丰 富 。 

对 于 自 定义 的 m 文件 ,如 果 用 户 在 开头 用 % 标 
记 写 上 注释 ,然后 在 命令 窗口 输入 help 对 应 的 m 文 
件 名 称 (不 包括 扩展 名 ) ,就 会 显示 这 部 分 注释 。 例 
如 ,用 户 的 自 定义 函数 如 下 : 


function f=myfun (x) 
Sreturn sin (x) 
f=sin (x); 


在 命令 窗口 输入 : 
>>help myfun 
结果 是 


return sin (x) 


| Be Ed Ve tret Teds Oviaop Wedon Help 
BET PIESTTTT LLL] 


图 B-10 等 高 线 图 
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C.1 Python 简介 


Python 是 一 个 高 层次 的 结合 了 解释 性 、 交 互 性 和 面向 对 象 的 脚本 语言 。Python 是 一 
种 解释 型 语言 ,这 意味 着 开发 过 程 中 没有 了 编译 这 个 环节 ,类 似 于 PHP 和 Perl 语言 。 
Python 是 交互 式 语言 : 这 意味 着 可 以 在 一 个 Python 提示 符 二 二 二 后 直接 执行 代码 。 
Python 是 面向 对 象 的 语言 ,这 意味 着 Python 支持 面向 对 象 的 风格 或 代码 封装 在 对 象 的 编 

Python 是 Guido van Rossum 于 20 世纪 80 年 代 末 和 90 年 代 初 在 荷兰 国家 数学 和 计 
算 机 科学 研究 所 设计 出 来 的 。Python 本 身 也 是 由 诸多 其 他 语言 发 展 而 来 的 ,包括 ABC、 
Modula-3、C、C++ 、Algol-68、SmallTalk、UNIX Shell 和 其 他 脚本 语言 等 。 像 Perl 语言 一 
样 ,Python 源 代 码 同样 遵循 GPL(GNU General Public License) 协 议 。 现 在 Python 由 一 个 
核心 开发 团队 维护 ,Guido van Rossum 仍然 占据 着 至 关 重 要 的 作用 ,指导 其 进展 。 

Python 主要 有 Python 2. x 和 Python 3. x 两 个 版 本 。 相 对 于 Python 的 早期 版 本 ， 
Python 3. x 是 一 个 较 大 的 升级 ,而且 为 了 不 带 入 过 多 的 累 歼 ,Python 3. x 在 设计 的 时 候 没 
有 考虑 向 下 兼容 。 本 附录 以 在 64 位 PC、Windows 10 环境 下 运行 的 Python 3.7. 2 为 例 ， 
介绍 Python 数值 计算 的 基本 功能 。 

除 Python 外 ,MATLAB 作为 在 数值 计算 方面 首屈一指 的 商业 数学 软件 ,同样 可 用 于 
实现 算法 .数据 分 析 、 和 矩阵 运算 等 。 相 比 于 MATLAB,Python 的 主要 优势 在 于 :免费 、 开 
源 、 更 好 的 可 移植 性 和 第 三 方 生态 。Python 作为 一 门 通用 编程 语言 ,功能 必定 更 加 灵活 和 
丰富 。 MATLAB 的 主要 优势 在 于 : 它 是 专门 给 数值 计算 开发 的 ,在 数值 计算 领域 社区 更 加 
活跃 并 且 性 能 更 加 优越 。 本 附录 在 介绍 Python 数值 计算 基本 功能 的 同时 ,也 会 列 出 相应 
的 MATLAB 命令 进行 对 比 。 


C.2 基本 数学 函数 


Python 支持 的 部 分 常用 数学 函数 见 表 C-1 。 


表 C-1 Python 支持 的 部 分 常用 数学 函数 


Python 命令 MATLAB 命令 数学 运算 说 明 
abs(x) abs(x) 数 的 绝对 值 ( 模 ) 
z. real real(x) 复数 的 实 部 
z. imag imag(z) 复数 的 虚 部 
z. conjugate() conj(z) 复数 的 共 思 e 
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续 表 

Python 命令 MATLAB 命令 数学 运算 说 明 
round(x) round(x) 四 舍 五 人 到 最 近 整 数 
math. ceil(x) ceil(x) 不 小 于 x 的 最 小 整数 ,需要 import math 
math. floor(x) floor(x) 不 超过 x 的 最 大 整数 ,需要 import math 
math. gcd(x,y) gcd(x,y) 整数 x 和 y 的 最 大 公约 数 ,需要 import math 
math. log( x) log(x) 以 e 为 底 的 对 数 , 需 要 import math 
math. log2(x) log2(x) 以 2 为 底 的 对 数 ,需要 import math 
math. exp( x) exp(x) e 的 x 次 方 ,需要 import math 
math. pow (2, x) pow2(x) 2 的 x 次 方 ,需要 import math 
math. sin(x) sin(x) 正弦 函数 ,需要 import math 
math. sinh(x) sinh(x) 双 曲 正弦 函数 ,需要 import math 
math. asin( x) asin(x) 反正 弦 函数 ,需要 import math 
math. cos(x) cos(x) 余弦 困 数 ,需要 import math 
math. cosh(x) cosh(x) 双 曲 余弦 函数 ,需要 import math 
math. acos( x) acos(x) 反 余 弦 函 数 ,需要 import math 
math. tan( x) tan(x) 正切 函数 ,需要 import math 
math. tanh( x) tanh(x) 双 曲 正切 函数 ,需要 import math 
math. atan( x) atan(x) 反正 切 函 数 ,需要 import math 
math. sqrt(x) sqrt(x) 开 方 ,需要 import math 
numpy. sign(x) sign( x) 符号 函数 ,需要 import numpy 


C.3 算 阵 运算 


Python 中 生成 矩阵 主要 使 用 numpy. array 对 象 , 如 下 所 示 。 


>>> 
>>> import numpy 
>>> A=numpy. array([[8, 1, 6], [3, 5, 7], [4, 9, 2]]) 
>>> print (A) 
[[8 1 6] 
[3.5 7] 
[4 9 2]] 
>>> print (A[0] [0]) 
8 


>>> 
还 有 一 些 命令 可 用 于 生成 特殊 矩阵 ,具体 列 于 表 C-2 中 。 
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表 C-2 生成 特殊 矩阵 的 命令 


Python 命令 MATLAB 命令 数学 运算 说 明 
numpy. zeros( (m,n)) zeros(m.n) 生成 到 行列 的 全 零 矩阵 ,需要 import numpy 
numpy. ones( (m,n)) ones(m,n) 生成 区 行 n 列 的 全 1 和 矩阵 ,需要 import numpy 
numpy. eyeCmyn) eye(myn) 生成 加 行 n 列 对 角 线 全 1 的 矩阵 ,需要 import numpy 
numpy. random. rand(m,n) rand(m.,n) 生成 mm 行 n 列 的 随机 和 矩阵 ,需要 import numpy 
. i 生成 一 个 以 向 量 z 的 元 素 为 距 主 对 角 线 距离 d 的 对 角 
numpy. diag(x,d) diag(x,d) _ 
线 元 素 的 矩阵 ,需要 import numpy 


Python 中 矩阵 间 直接 运算 就 是 逐 项 运算 ,如 图 所 示 。 


>>> B=numpy. ones((3, 3)) 
>>> print (A+B) 
LG: D2 7 
[4. 6. 8.] 
10. 3 村 
>2>> print (A*B) 
[[8. 1. 6.] 
L957 Ts 


[4. 95 2.]] 
>>> 


表 C-3 列 出 了 一 些 常 见 的 矩阵 运算 命令 。 
表 C-3 ”常见 的 矩阵 运算 命令 


Python 命令 MATLAB 命令 数学 运算 说 明 


(m,n)=numpy. shape( A) [m,n]=size(A) m 为 行 数 ,n 为 列 数 ,需要 import numpy 


numpy. linalg. matrix_rank(A) | rank(A) 矩阵 的 秩 ,需要 import numpy 
numpy. linalg. det( A) det(A) 方 阵 的 行列 式 , 需 要 import numpy 
numpy. linalg. eigvals( A) eig(A) 矩阵 的 所 有 特征 值 ,需要 import numpy 
numpy. linalg. inv( A) inv(A) 和 矩阵 的 道 ,需要 import numpy 
numpy. linalg. cond( A) cond(A) 矩阵 的 条 件数 ,需要 import numpy 
和 和 矩阵 的 转 置 ,需要 import numpy 
A.T.conj() A' 和 矩阵 的 共 思 转 置 ,需要 import numpy 
Cholesky 分 解 , Python 命令 得 到 的 是 下 三 角 矩 
numpy. linalg. cholesky( A) chol(A) 阵 ,MATLAB 命令 得 到 的 是 上 三 角 和 矩阵 ,需要 


import numpy 


(Q,R) 王 numpy. linalg. qr(A) | [LQ,R]=qrCA) QR 分 解 .4 一 OR ,需要 import numpy 


SVD *Pyth， 令 得 号 是 一 十 » 
(U.S,V)=numpy. linalg 分 解 ,Python 命令 得 到 的 S 是 个 向 量 


.svd(A) 


[U.S,.V]=svd(A) 


MATLAB 命令 得 到 的 S 是 一 个 对 角 和 矩阵 ,需要 


import numpy 


(P,L,U)= scipy. linalg. lu( A) 


[L,U.,P]=lu(A) 


LU 分 解 ,PA = 二 LU ,需要 import scipy. linalg 


AxB 


A.*B 


逐 项 乘法 
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续 表 
Python 命令 MATLAB 命令 数学 运算 说 明 
numpy. dot(A,B) AxB 和 矩阵 乘法 ,需要 import numpy 
scipy. linalg. expm( A) expm( A) 和 矩阵 的 指数 函数 ,需要 import scipy. linalg 


向 量 是 特殊 的 矩阵 , 表 C-4 列 出 了 一 些 常 见 的 用 于 向 量 的 函数 。 
表 C-4 常见 的 向 量 函 数 命令 


Python 命令 MATLAB 命令 数学 运算 说 明 
numpy. min(x) min(x) 向 量 xz 元素 的 最 小 值 , 需 要 import numpy 
numpy. max( x) max(x) 向 量 z 元 素 的 最 大 值 ,需要 import numpy 
numpy. mean( x) mean( x) 向 量 z 元 素 的 平均 值 ,需要 import numpy 
numpy. median( x) median(x) 向 量 x 元素 的 中 位 数 , 需 要 import numpy 
numpy. std(x) std(x) 向 量 元 素 的 标准 值 ,需要 import numpy 
numpy. sort(x) sort(x) 对 向 量 z 的 元 素 升 序 排序 ,需要 import numpy 
numpy. linalg. norm( x) norm(x) 向 量 z 的 模 ,需要 import numpy 
numpy. sum(x) sum(x) 向 量 z 元素 的 和 ,需要 import numpy 
numpy. prod( x) prod(x) 向 量 x 元素 的 积 ,需要 import numpy 
numpy. diff(x) diff(x) 向 量 z 相 邻 元 素 的 差 ,需要 import numpy 
numpy. dot(x,y) dot(x,y) 向 量 zx 和 >y 的 内 积 , 需 要 import numpy 


numpy. cross(x,y) 


Cross(x,y) 


向 量 zx 和 >y 的 外 积 ,需要 import numpy 


C.4 其 他 数学 运算 


Python 也 支持 简单 的 多 项 式 运算 ,主要 用 到 numpy. polyld 对 象 。 下 图 展示 的 是 用 


Python 求解 多 项 式 x’ 一 2x 十 1 的 零点 的 过 程 。 


>>>》 import numpy 


Python 命令 


>>> a=numpy. array([1, 0,-2, 1]) 
>>> p=numpy. polyld(a) 
>>> r=numpy. roots (p) 


>>> print (r) 


[-1.61803399 1. 


表 C-5 列 出 了 常见 的 多 项 式 运 算命 令 。 


0. 61803399] 


表 C-5 常见 的 多 项 式 运算 命令 


MATLAB 命令 


数学 运算 说 明 


numpy. roots(p) 


roots(p) 


求 多 项 式 p 的 根 ,需要 import numpy 


numpy. polyval(p, x) 


polyval(p,x) 


求 多 项 式 p 在 工 的 值 , 需 要 import numpy 


numpy. poly(r) 


poly(r) 


将 根 转换 为 多 项 式 系数 ,需要 import numpy 
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第 1 章 
1. 相对 误差 限 为 0.0033。 
2. (4) 当 xz 一 Ar, 天 0 时 ,这 个 问题 高 度 敏感 。 


4 Yim 的 误差 限 为 六 X107。 
5. 测量 边 长 的 误差 应 不 超过 0. 005cm。 
6. 5X10’ ,稳定 。 


7. 第 三 个 公式 , 即 得 到 的 结果 相对 最 好 。 


1 
(3 十 2V2) 

9. (2) UFL=pB-?+! 

11. 0.1 的 IEEE 单 精度 二 进 制 浮 点 数 表示 是 0. 000110011001100110011001101 ,注意 
它 有 24 位 二 进 制 有 效 数字 。 采 用 截断 舍 人 保留 4 位 有 效 数 字 的 结果 是 0. 0001100。 采 用 
最 近 舍 人 保留 4 位 有 效 数字 的 结果 是 0. 0001101。 

第 2 章 

1. 迭代 公式 (1) 和 (3) 都 收敛 ,得 到 4 位 有 效 数字 的 近似 根 为 1. 466。 

5 所 求 的 极限 值 为 二 。 


第 3 章 
1. A 的 ce- 范 数 .1- 范 数 及 2- 范 数 分 别 为 1.1、0.8 和 0. 8279 。 


11. 乘除 法 次 数 为 代号。 
12. 矩阵 4 对 应 的 因子 矩阵 为 
1 0 0 | | 
0 10|, U=|0 4 —1|。 
2 一 业 0 0 一 2 
1 
2 
3 


也 一 


和 矩阵 如 对 应 的 因子 矩阵 为 


下 二 


矩阵 C 对 应 的 因子 矩阵 为 
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也 .一 


i 
2 OO ~ © 


0 
0 
1 
1 


~ OO oc 

©O Oo ~ 

© oO = = 

SS mE ee bh 

2 
o 


13. 矩阵 4 对 应 的 因子 矩阵 为 


Il 
Fy 
Co 
5 
ss 
co cn 
区 
Ss, 

[Se [ed L223 
| | 
中 
1 
| 
| 

全 
一 


1 
2/3 ， 了 
和 


ss 
/3 “1/2 
矩阵 互 对 应 的 因子 矩阵 为 
1 4 2 4 3 
1 3 1 
1 2 1 
二 二 % P= 
LL 6 一 】 1 
1 1 1 1 
| 3 
15. 矩阵 4 的 Cholesky 分 解 因子 为 


1.7321 
L=|0.5774 1.6330 
0.6124 1.6202 
16. 解 出 x [5 2 二 $]. 
17. 矩阵 4 不 能 进行 LU 分 解 ;矩阵 B 可 以 进行 LU 分 解 ,但 分 解 不 唯一 。 
第 4 章 
3. (1) 雅 可 比 迭 代 法 、 高 斯 - 赛 德尔 夫 代 法 解 此 方程 组 时 都 收敛 。 
(2) 雅 可 比 迭 代 法 经 过 17 步 迭 代 , 得 到 近似 解 [ 一 4.000 02 3.00000 2.000 00]™; 
高 斯 - 赛 德 尔 迭 代 法 经 过 8 步 迭 代 , 得 到 近似 解 [一 4.000 02 3.000 00 2.00000 了 下。 
4. SOR 方法 经 过 8 步 迭 代 , 得 到 近似 解 [ 一 4.000 02 3.000 00 2.000 00]™。 
6. (1) 一 1 ca<1 时 ,和 矩阵 4 正定 。 
第 5 章 
2. 2.4<p(A)<3. 6;cond(A),=1. 3068。 
3. 4 的 特征 值 的 界 为 2<4<6; 4-: 的 特征 值 的 界 为 十 <)< 二 。 


4. 主 特征 值 为 9. 6056 , 主 特征 向 量 为 [1 0.6056 一 0.3944] 。 


Le 
| 
wv wv ol 


9. 计算 结果 如 下 : 
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_Y3 _Yy3 

“3 -3 3 
_2v6 _v6 

y 3 3 

去 一 

0 0 VE 

0 0 0 

0 0 0 

0 0 0 

一 0 

3 1 

12. 得 到 的 对 称 三 对 角 和 矩阵 为 25 25 | 。 

14 23 

0 25 25 

. 时 
15. (1) 15， (2) ZL， (3) 2 


第 6 章 
3. (1) 上 fs、 Fi; 与 上 ;分别 为 1、1/4.W7/7。 
C2) fs、 中 fi 与 上 ;分别 为 1/2 、1/4、V3/6。 
5. 最 佳 平方 通 近 多 项 式 为 S(1)==0. 117 187 5 十 1. 640 625z? 一 0. 820 312 57*。 


6. (1) 最 佳 平方 通 近 多 项 式 为 SC0) 一 4e 一 10 十 (18 一 6e)z。 


(2) 最 佳 平方 通 近 多 项 式 为 SO 一 站 一 2 1 


8. Ss(1)* 1.553191z: 一 0.562228zs 。 
9. 得 到 的 经 验 公 式 为 y= 二 0. 972 604 6 十 0. 050 035 142 , 均 方 误差 为 0.0548 。 


7.496 347 


10. 得 到 的 函数 表达 式 为 y= 二 f(1)==5.215 153X10-4Xe- 。 

11. 解 为 f(t)==2.5648 十 1. 2037t 。 

12. 0.501 06XX10-5。 

15. h<0.006 585。 

17. 分 别 为 1 和 0。 

20. PO =Tr (3), 

21. 估计 出 的 误差 上 限 为 0. 25。 

22. 误差 不 超过 h?/4。 

23. 误差 不 超过 h*/16。 

第 7 章 

1. (1) A 一 A1 一 时 h,A 一 一 千 h,3 次 代数 精度 。 
(2) 具有 2 次 代数 精度 。 


4. 误差 限 为 3.472 22X10 下 。 
6. CY T=0, 1114024; S=0. 1115718, 
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(2) T=17. 2277402, S=17. 3320873 。 
7. 复合 梯形 公式 等 分 213 份 ,复合 辛普森 公式 等 分 4 份 。 
9. 计算 结果 为 0.713 27。 
11. 结果 分 别 为 11. 1415 和 10. 948 4。 
12. 1.098 537 6。 
13. 一 0. 9344。 
第 8 章 
4. 公式 如 下 : 

yO— yO— hf (ts yn) 


JeH yk = 了 
10. (1) 满 足 ， 2) 满足 ，“〔3) 不 满足 。 
11. (1) h<0. 02。 

(2) h<0. 0287。 


(3) 对 步 长 h 没有 限制 。 
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算法 6. 


算法 索引 


: 计算 多 项 式 P, (zx) 的 算法 

二 分 法 

: 基于 函数 p(x) 的 不 动 点 迭代 法 

: 解 单个 非 线 性 方程 的 牛顿 迭代 法 

: 解 单个 非 线性 方程 的 割 线 法 

: 阻尼 牛顿 法 

: 解 非 线 性 方程 组 的 牛顿 法 

: 求解 线性 方程 组 的 高 斯 消去 过 程 

: 求解 上 三 角形 方程 组 的 回 代 过 程 

: 求解 线性 方程 组 的 高 斯 - 约 当 消去 法 
: 矩阵 求 逆 算 法 

: 用 高 斯 消去 过 程 进行 LU 分 解 

: 矩阵 的 直接 LU 分 解 算法 

: 求解 单位 下 三 角 方 程 组 的 前 代 过 程 
: 利用 LU 分 解 求解 多 右 端 方程 组 

: 部 分 主 元 高 斯 消去 法 进行 LU 分 解 
: 对 称 正定 矩阵 的 Cholesky 分 解 算法 


三 对 角 和 矩阵 的 不 选 主 元 LU 分 解 


: 三 对 角 线 性 方程 组 的 “追赶 法 ?解法 

: 1 阶 定常 迭代 法 

: 雅 可 比 迭代 法 

: 高 斯 - 赛 德尔 迭代 法 

: SOR 迭代 法 

: 解 对 称 正定 方程 组 的 最 速 下降 法 

: 解 对 称 正定 方程 组 的 共 思 梯度 法 

: 解 对 称 正 定 方程 组 的 实用 共 斩 梯 度 法 

: 解 对 称 正定 方程 组 的 预 条 件 共 轿 梯度 法 

: 计算 主 特征 值 Ma 和 主 特征 向 量 xm 的 实用 宕 法 
: 计算 最 小 特征 值 x, 和 特征 向 量 x, 的 反 震 法 


基于 Householder 变换 的 矩阵 正 交 三 角 化 


: 计算 矩阵 特征 值 的 QR 算法 
: 一 种 计算 实 对 称 和 矩阵 特征 值 的 实用 QR 算法 
: 求实 连续 函数 最 佳 平方 逼近 的 法 方程 方法 


114 


算法 索引 


算法 6. 2: 
算法 6. 3: 
算法 6. 4: 
算法 6. 5: 
算法 8. 1， 


用 法 方程 方法 求解 曲线 拟 合 的 最 小 二 乘 问题 

利用 矩阵 的 QR 分 解 求解 曲线 拟 合 的 最 小 二 乘法 
用 拉 格 朗 日 插值 计算 函数 值 

用 满足 第 一 种 边界 条 件 的 三 次 样 条 插值 计算 函数 值 
求解 常 微分 方程 初 值 问 题 的 自动 变 步 长 BS23 算法 


208 
2 
218 
236 
299 
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Adams( 亚 当 斯 ) 公 式 
BLAS( 基 本 代数 子 程序 ) 
Brent 算法 (zeroin 算法 ) 
B- 样 条 函数 

k 次 B- 样 条 

和 & 次 样 条 函数 


Cholesky( 楚 列 斯 基 ) 分 解 
Cholesky 分 解 算法 

Givens 旋转 变换 (平面 旋转 变换 ) 

Householder 变换 (初等 反射 变换 ) 

LAPACK 


LDL" 分 解 


LU 分 解 ( 三 角 分 解 ) 
LU 分 解 算法 


部 分 主 元 高 斯 消去 法 进行 LU 分 解 


( 列 主 元 LU 分 解 ) 
杜 利 特 尔 (Doolittle) 方 法 
克 劳 特 (Crout) 方 法 
直接 三 角 分 解 方 法 


Krylov 子 空间 迭代 法 
变 分 原理 
共 思 梯度 法 
预 条 件 技术 
最 速 下 降 法 


MATLAB 
\(mldivide) 
chol 
cond 
diff 
eig 
eigs 


eps 
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303 
108 

49 
236 
237 
237 


95 
96 
167 
165 
106 ,107 


94 


80 
81 


89 
84 
84 
84 


2,135 
130 
133,134 
136 

131 


5,324 
106 .240 
106 

107 

278 
153,183 
185 

20, 27 


fsolve 
fzero 
hess 
int 
interpl 
interp2 
interp3 
jordan 
lu 
odell3 
odel5s 
ode23 
ode23s 
ode23t 
ode23tb 
ode45 
pcg 
pchip 
polyfit 
qr 
quad 
quadgk 
quadl 
realmax 
realmin 
roots 
schur 
sparse 
spline 
sprand 
svd 
svds 
syms 


vpa 


Netlib 


55 
49,55 
185 

278 

240 

240 

240 

185 

106 

311 

311 
298,311 
311 

311 

311 

311 

142 
232,240 
240 

185 

263 ,278 
278 

278 
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PageRank 算法 


QR 分 解 


QR 算法 
带 原点 位 移 的 QR 算法 
单位 移 技术 
基本 QR 算法 


将 矩阵 化 简 为 上 Hessenberg 阵 


Romberg( 龙 贝 格 ) 算 法 


阿 贝 尔 (AbeD 定 理 


埃 尔 米 特 插值 
埃 尔 米 特 插值 余 项 


两 点 三 次 埃 尔 米 特 插值 多 项 式 


保 形 分 段 插值 


伯 恩 斯 坦 多 项 式 


不 动 点 迭代 法 
全 局 收敛 
局 部 收敛 
判 停 准则 
收敛 阶 


残 差 判 据 


差 商 ( 均 差 ) 
k 阶 差 商 


插值 
保 形 分 段 插值 
插值 函数 
插值 节点 
插值 区 间 
多 项 式 插值 
分 段 插值 
分 段 三 次 埃 尔 米 特 插值 函数 
分 段 线 性 插值 函数 
龙 格 (Runge) 现 象 


162 


168,171 


2,172 
7 
yr 
173 
176 


260 


231 


197,227 


36 
38 
39 
44 
40 


44 


10,221 
221 


214 
232 
215 
215 
215 
215 
215,226 
230 
227 
226 


三 次 样 条 插值 
三 角 插 值 
数值 稳定 性 
有 理 插值 


插值 型 求 导 公式 


插值 型 求 积 公 式 
Kronrod 公式 
Lobatto 公式 
高 斯 - 勒 让 德 求 积 公式 
高 斯 点 
高 斯 求 积 公式 
柯 特 斯 公式 
牛顿 - 柯 特 斯 公式 
梯形 公式 
辛普森 公式 
中 和 矩形 公式 


常 微分 方程 

初 值 问题 

利 普 希 芯 条 件 

上 阶 常 微分 方程 

显 式 常 微分 方程 
线性 常 微分 方程 
一 阶 常 微分 方程 组 
隐 式 常 微 分 方程 


常 微 分 方程 初 值 问题 
不 稳定 
刚性 问题 
渐进 稳定 
局 部 稳定 性 
稳定 


常 微分 方程 初 值 问题 的 解法 

MATLAB 的 ODE 求解 器 
单 步 法 

多 步 法 

截断 误差 主 项 

局 部 截断 误差 

龙 格 - 库 塔 方法 

欧 拉 法 


233 
215 
227 
215 


274 


247 
270 
270 
269 
266 
266 
252 
252 
247,251 
251 
247 


283 
284 
284 
283 
283 
284 
283 
283 


285 
311 
285 
285 
285 


311 
287 
287 ,300 
290 
289 
292 
287 
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收敛 性 
梯形 法 
稳定 区 间 
稳定 区 域 
稳定 阅 值 
稳定 
无 条 件 稳定 
显 格式 方法 
向 后 欧 拉 法 
隐 格 式 方法 
预测 -校正 公式 (PECE 格式 ) 
准确 度 阶 数 


超 定 方程 组 


大 数 吃 掉 小 数 


代数 基本 定理 


抵消 (cancellation) 


第 一 积分 中 值 定理 


迭代 法 基本 定理 


Adams( 亚 当 斯 ) 公 式 

BDF 格式 

Hamming ( 海 明 ) 公 式 
Milne( 米 尔 恩 ) 公 式 

收敛 

显 式 4 阶 Adams-Bashforth 公式 
线性 m 步 法 

线性 多 步 法 

相 容 性 条 件 

隐 式 4 阶 Adams-Moulton 公式 


多 项 式 的 友 阵 (companion matrix) 


二 分 法 


20 世纪 十 大 算法 
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31 


290 
290 
288 
288 
306 
288 
291 
287 
290 
287 
306 
290 


61 


23 


,216 


21 


253 


117 


300 
303 
307 
307 
307 
303 
305 
300 
300 
301 
305 


49 


32 


法 方程 方法 
法 方程 


反 短 法 


范 德 蒙 德 (Vandermonde) 和 矩阵 


范 数 
力 范 数 
函数 的 范 数 
和 矩阵 的 算 子 范 数 
和 矩阵 范 数 
内 积 范 数 
相 容 性 条 件 
向 量 范 数 


非 线性 方程 
重 根 
单 根 
多 项 式 方程 求 根 
非 线性 方程 组 
函数 的 不 动 点 
函数 的 零点 
问题 的 敏感 性 
雅 可 比 (Jacobi) 和 矩阵 
有 根 区 间 


刚性 问题 


高 斯 - 赛 德尔 迭代 法 


高 斯 求 积 公 式 


高 斯 消去 法 
部 分 主 元 消去 法 ( 列 主 元 消去 法 ) 
乘 数 
高 斯 - 约 当 消去 法 
和 矩阵 求 递 算法 
全 主 元 技术 


199 


216， 


64， 


199 


,207 


303 
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算法 的 稳定 性 
填 人 元 

向 后 误差 分 析 法 
消去 矩阵 

选 主 元 

增长 因子 

主 元 


割 线 法 


格拉 姆 - 施 密 特 正 交 化 过 程 


格拉 姆 (Gram) 和 矩阵 


格 什 臣 林 (Gerschgorin) 圆 盘 


共 乞 梯度 法 


固定 格式 迭代 法 


广义 傅 里 叶 展 开 


哈 尔 (Haar) 条 件 


函数 通 近 问题 
表格 函数 
带 权 正 交 函数 族 
广义 傅 里 叶 展 开 
哈 尔 (Haar) 条 件 
均 方 误差 ( 均 方 根 误差 ) 
曲线 拟 合 (回归 分 析 ) 
魏 尔 斯 特 拉 斯 定理 
线性 最 小 二 乘 
最 佳 平方 通 近 (最 小 二 乘 通 近 ) 
最 佳 平方 通 近 多 项 式 
最 佳 一 致 逼近 
最 小 二 乘法 


回 代 过 程 


机 器 精度 


计算 机 浮 点 数 系统 


93 
104 
15,93 
78 

87 
93 

73 


46 


165 ,202 


195 


152 


133 


114 


205 


208 


193 
193,197 
202 
205 
208 
206 
206 
197 
206 ,207 
197 
200 
196 
206 


72 


11.18,19 


IEEE 单 精度 
IEEE 双 精 度 
次 规范 化 
规范 化 
精度 

上 溢 值 
合 入 

尾数 

下 洲 值 
小 数 

指数 


和 矩阵 
不 可 约 和 矩阵 
初等 变换 矩阵 
对 称 半 正定 矩阵 
对 称 正定 和 矩阵 
对 角 占 优 矩 阵 


范 德 蒙 德 (Vandermonde) 和 矩阵 


非 亏损 矩阵 

格 什 蕊 林 圆 盘 

迹 

可 对 角 化 
可 约 和 矩阵 

亏损 矩阵 
列 满 秩 矩 阵 

拟 上 三 角 和 矩阵 ( 实 Schur 型 ) 
排列 矩阵 (置换 矩阵 
谱 半径 
三 对 角 和 矩阵 

上 黑 森 伯 格 阵 

上 三 角 和 矩阵 

顺序 主子 式 

顺序 主子 矩阵 
特征 多 项 式 

特征 方程 

特征 向 量 

特征 值 

特征 值 谱 
特征 子 空间 

下 三 角 和 矩阵 

相似 变换 
严格 对 角 占 优 和 矩阵 


151 
171,208 
174 
89 
116 
62 
176 
62 
63 
63 
148 
63 ,148 
63 ,148 
63 ,148 
148 
148 
62 
150 
180 
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正 交 矩阵 
弗 罗 贝 尼 乌 斯 (Frobenius) 范 数 
列 正 交 和 矩阵 


矩阵 的 特征 值 
代数 重 数 
几何 重 数 

主 特征 值 


矩阵 的 正 交 三 角 化 
Givens 旋转 变换 (平面 旋转 变换 ) 
Givens 旋转 矩阵 
Householder 变换 (初等 反射 变换 ) 
Householder 和 矩阵 (初等 反射 矩阵 


矩阵 求 逆 算法 


均 方 误差 ( 均 方 根 误差 ) 


柯 西 - 施 瓦 茨 (Cauchy-Schwarz) 不 等 式 


拉 格 朗 日 (Lagrange) 插 值 法 
拉 格 朗 日 插值 多 项 式 
拉 格 朗 日 插值 基 函 数 
拉 格 朗 日 插值 余 项 


拉 普 拉 斯 (Laplace) 方 程 


理 查 森 外 推 法 
数值 积分 的 外 推算 法 
数值 微分 的 外 推算 法 


利 普 希 茨 (Lipschitz) 条 件 


龙 格 - 库 塔 方法 
3 阶 Kutta 公式 
4 阶 经 典 R-K 公 
BS23 算法 
r 级 龙 格 - 库 塔 公式 
Ralston 公式 
改进 的 欧 拉 法 (Heun 方法 ) 
相 容 性 条 件 
自动 变 步 长 R-K 方法 
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37， 


62 
182 
180 


151 
151 
154 


165 
167 
167 
165 
165 


76 


206 


195 


216 
217 
217 
219 


137 


259 
259 
276 


284 


292 
295 
295 
298 
293 
295 
294 
298 
298 


中 点 公式 
龙 格 (Runge) 现 象 
罗 尔 (Rolle) 定 理 
洛 伦 效 (Lorenz) 吸 引子 
和 军法 
反 短 法 
规格 化 向 量 
瑞 利 商 (Rayleigh quotient) 
实用 宪法 
原点 位 移 技术 
主 特征 向 量 
主 特征 值 
拟 牛 顿 法 (quasi-Newton method) 
逆 二 次 插值 法 
牛顿 - 柯 特 斯 公式 
牛顿 (Newton) 插 值 法 
牛顿 插值 多 项 式 
牛顿 插值 余 项 
牛顿 迭代 法 (Newton-Raphson method) 
欧 拉 法 
抛物 线 法 
二 次 插值 法 
逆 二 次 插值 法 
平方 根 法 
平行 弦 法 
奇异 值 分 解 
截断 奇异 值 分 解 


精简 奇异 值 分 解 
奇异 值 


294 


226 


218,230 


314 


154 


160 


156 


159 


157 


158 


154 


154 


47 


47 


250 


220 


223 


224 


42 


286 


47 


47 


47 


95 


46 


179 


183 


181 
179 
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右 奇 异 值 向 量 
左 奇异 值 向 量 


伪 道 (pseudo inverse) 


前 代 过 程 


秦 九 韶 算法 


曲线 拟 合 


瑞 利 商 (Rayleigh quotient) 加 速 


三 次 样 条 插值 


非 结 点 (not-a-knot) 条 件 
三 次 样 条 函数 

三 次 样 条 插值 函数 

三 弯 矩 方程 

周期 边界 条 件 

自然 边界 条 件 


收敛 阶 


超 线性 收敛 

平方 收敛 (2 阶 收敛 ) 
收敛 速度 (渐进 收敛 速度 ) 
线性 收敛 (1 阶 收敛 ) 


收缩 技术 


实 Schur 分 解 ( 舒 尔 分 解 ) 


实 Schur 型 


实用 符 法 


适 定 的 (well-posed) 问 题 


数值 积分 方法 


quadtx 程序 

Romberg( 龙 贝 格 ) 算 法 
插值 型 求 积 公 式 

代数 精度 

等 距 节 点 公式 的 p 阶 准确 度 
复合 求 积 法 


40， 


159 


119 


119 


255 


高 斯 求 积 公 式 266 
积分 节点 247 
积分 系数 247 
积分 余 项 248 
机 械 求 积 公式 247 
柯 特 斯 (Cotes) 系 数 251 
牛顿 - 柯 特 斯 公式 251 
收敛 性 249 
稳定 的 250 
自 适应 积分 方法 262 
数值 计算 软件 4 
数值 微分 方法 二 
插值 型 求 导 公 式 274 
2 阶 中 心 差分 公式 273 
数值 微分 的 外 推算 法 276 
向 后 差分 公式 273 
向 前 差分 公式 273 
有 限 差分 公式 272 
中 心 差分 公式 273 
算法 的 稳定 性 (数值 稳定 性 14 
特征 值 分 解 ( 谱 分 解 ) 151 
梯形 法 290 
梯形 公式 247,251 
填 入 元 104 
条 件数 11 
病态 矩阵 68 
和 矩阵 的 条 件数 68 
绝对 条 件数 13,32 
良 态 矩阵 68 
威 尔 金森 (Wilkinson) 图 62,102 
魏 尔 斯 特 拉 斯 (Weierstrass) 定 理 197 
问题 的 敏感 性 (病态 性 ) 11 
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不 敏感 ( 良 态 ) 
敏感 (病态 ) 


误差 

计算 误差 
截断 误差 (方法 误差 ) 
绝对 误差 
(绝对 ) 误 差 限 

伟人 误差 

数据 传递 误差 

相对 误差 

相对 误差 限 
向 后 误差 


误差 判 据 


希 尔 伯 特 (Hilbertb) 和 矩阵 


稀 疏 和 矩阵 
半 带 宽 
稠密 矩阵 
带 状 矩阵 
三 元 组 结构 
威 尔 金森 图 
稀 朴 度 
压缩 稀疏 行 结 构 
追赶 法 


线性 方程 组 
残 差 
超 定 方程 组 
和 迭代 解法 
多 右 端 方程 组 
解 的 存在 性 与 唯一 性 
问题 的 敏感 性 
系数 矩阵 
相对 残 差 
右 端 项 ( 右 端 向 量 ) 
直接 解法 


线性 空间 
A 正 交 ( 共 思 正 交 ) 
带 权 正 交 
。 360 。 


103 


61 
118,131 
60 
114 
85 
62 
68 
60 
118 
60 
60 


193 
134 
202 


复 内 积 
复 内 积 空 间 
赋 范 线性 空间 


格拉 姆 - 施 密 特 正 交 化 过 程 


格拉 姆 矩阵 
函数 的 范 数 

加 权 内 积 

和 矩阵 的 算 子 范 数 
和 矩阵 范 数 

柯 西 - 施 瓦 茨 不 等 式 
内 积 范 数 

权 函 数 

实 内 积 
实 内 积 空 间 
线性 无 关 

线性 相关 

向 量 的 p- 范 数 
向 量 范 数 

正 交 


相 容 性 条 件 


向 后 欧 拉 法 


向 后 误差 分 析 法 
向 后 误差 


向 量 范 数 
P- 范 数 
曼哈顿 范 数 (1- 范 数 ) 
内 积 范 数 
欧式 范 数 (2- 范 数 ) 


辛普森 (Simpson) 公 式 
雅 可 比 (Jacobi) 和 迭代 法 
雅 可 比 (Jacobi) 矩 阵 
样 条 函数 
B- 样 条 函数 


上 次 B 样 条 
上 次 样 条 函数 


64,194 
194 
64 
165,202 
195 
193 
196 
66 
66 
195 
64, 194 
196 
64,194 
194 
62 
62 
64 
64 
64 


66,298,301 


290 


120 


54,118,308 


237 


237 
237 
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三 次 样 条 函数 


一 阶 定常 迭代 法 
和 迭代 法 的 基本 定理 
迭代 矩阵 
分 裂 法 
高 斯 - 赛 德尔 迭代 法 
固定 格式 迭代 法 
收敛 速度 (渐进 收敛 速度 ) 
松弛 因子 
雅 可 比 迭 代 法 
逐次 超 松 弛 和 迭代 法 (SOR 和 迭代 法 ) 


有 限 差分 公式 
2 阶 中 心 差分 公式 
向 后 差分 公式 
向 前 差分 公式 
中 心 差分 公式 
有 效 数字 
原点 位 移 技术 
圆 盘 定理 


约 当 (Jordan) 分 解 


158, 


233 


114 


117 
114 


114 
i119 


110 


152 


151 


约 当 标准 型 
约 当 块 


正 交 多 项 式 
埃 尔 米 特 多 项 式 
第 二 类 切 比 雪夫 多 项 式 
第 一 类 切 比 雪夫 多 项 式 
拉 盖 尔 多 项 式 
勒 让 德 多 项 式 
中 值 定理 
第 一 积分 中 值 定理 
连续 函数 的 中 值 定理 
逐次 超 松弛 和 迭代 法 (SOR 迭代 法 ) 


追赶 法 
自 适应 积分 方法 


阻尼 牛顿 法 


最 佳 平方 通 近 (最 小 二 乘 双 近 ) 


最 速 下 降 法 


最 小 二 乘法 


151 
151 


202 
204 
204 
204 


204 
203 


253 


255 


123 


99 
262 


48 


197 


130 


206 
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